Kısa Cevap
IVDR Ek XIII performans değerlendirmesi üç ayak ister: bilimsel geçerlilik, analitik performans ve klinik performans. Klinik performans çalışmasında duyarlılık ve özgüllük iki ayrı sonlanımdır ve her biri için örneklem ayrı hesaplanır: n = z² × p × (1 - p) / d² formülüyle, %95 beklenen duyarlılığı ±%3 hassasiyetle göstermek yaklaşık 203 hastalıklı örnek ister; aynı hassasiyet özgüllük için de ayrıca hesaplanır ve prospektif ardışık tasarımda toplam örneklem prevalansa bölünerek bulunur. Kabul kriteri nokta tahmini değil, %95 güven aralığının alt sınırının önceden yazılmış eşiği geçmesidir. Referans standart testten bağımsız olmalı, uyumsuz sonuçların yeniden sınıflandırılması (discrepant analysis) yapılmamalı ve rapor STARD 2015 ile ISO 20916'ya göre yazılmalıdır.
Serteser Danışmanlık, bir medical-AI tıbbi cihazı geliştirip hakemli uluslararası bir dergide yayınlamış ve dört PROSPERO kayıtlı sistematik derlemenin metodolojisini yürütmüş bir biyomedikal mühendis (BME MSc) tarafından yürütülür. IVDR klinik performans çalışmasının tasarımını, örneklem gerekçesini, istatistik analiz planını ve performans değerlendirme raporunun istatistik bölümünü üreticiye doğrudan, RA danışmanlıklarına ve CRO'lara kendi markalarıyla alt yüklenici olarak teslim ederiz. Etik kurul ve TİTCK başvuru evrakı, saha yürütmesi ve sorumlu araştırmacı rolü bizim şeridimizde değildir.
IVDR'ın MDR'dan farklı olan en önemli yanı, kanıtın adının ve yapısının farklı olmasıdır: klinik değerlendirme değil performans değerlendirmesi, CER değil performans değerlendirme raporu (PER), PMCF değil piyasaya arz sonrası performans takibi (PMPF). Ek XIII Bölüm A bu değerlendirmenin üç ayağını tanımlar: bilimsel geçerlilik (analitin klinik durumla ilişkisi), analitik performans (testin analiti doğru ölçmesi) ve klinik performans (test sonucunun hedef popülasyonda klinik durumla ilişkisi). Bu yazının konusu üçüncü ayaktır, çünkü istatistiksel hatalar en çok orada yapılır ve geçiş takvimiyle birlikte en çok orada sıkışılır.
MDCG 2022-2 IVD'ler için klinik kanıtın genel ilkelerini, ISO 20916:2019 ise insan örnekleri kullanılan klinik performans çalışmalarının iyi çalışma uygulamasını tanımlar. Bu yazıda bu iki çerçeveyi tasarım kararlarına ve sayılara çeviriyoruz.
Klinik performans çalışması ne değildir
Klinik performans çalışması, analitik doğrulamanın tekrarı değildir. Analitik performans, testin analiti bilinen örneklerde ne kadar doğru ölçtüğünü gösterir (doğruluk, kesinlik, saptama sınırı, çapraz reaktivite). Klinik performans, testin gerçek hedef popülasyonda hastalığı olan ile olmayanı ayırma gücünü gösterir: duyarlılık, özgüllük, pozitif ve negatif öngörü değerleri, olabilirlik oranları ve gerekiyorsa klinik fayda.
Karışıklığın pratik sonucu şudur: laboratuvarda kontrast örneklerle elde edilen %99 uyum, klinik performans kanıtı değildir. Hedef popülasyon, kullanım amacına yazılmış popülasyondur; örneklem oradan gelir.
Referans standart ve tasarımın üç kararı
Klinik performans çalışmasının kalitesi, sayılardan önce üç tasarım kararında belirlenir:
- Referans standart: Hastalığın varlığını değerlendirilen testten bağımsız olarak belirleyen yöntem. Referans, testin kendisini veya testin sonucunu içeren bir kompozit olamaz; aksi halde birleştirme yanlılığı oluşur. Referansın kör okunması belgelenir.
- Örnek seçimi: Ardışık veya rastgele seçilmiş, kullanım amacındaki popülasyonu yansıtan örnekler. Bilinen pozitifler ve sağlıklı kontrollerden kurulan vaka-kontrol tasarımı duyarlılık ve özgüllüğü şişirir; kullanılacaksa gerekçesi ve kısıtı raporda yazılır.
- Doğrulama akışı: Her örneğin referans standartla değerlendirilmesi. Yalnızca test pozitiflerinin referansla doğrulandığı tasarım, doğrulama yanlılığı üretir ve özgüllük tahminini geçersiz kılar.
Bu üç karar protokolde, örneklem hesabından önce yazılır. Uyumsuz sonuçları sonradan üçüncü bir yöntemle yeniden sınıflandırıp yalnızca uyumsuzları çözmek (discrepant analysis) yanlıdır ve kabul görmez; protokolde önceden tanımlı olmayan hiçbir yeniden sınıflandırma yapılmaz.
Duyarlılık ve özgüllük için ayrı örneklem
En sık yapılan hata, tek bir "n" hesaplayıp hem duyarlılık hem özgüllük için yeterli saymaktır. İki sonlanımın payda popülasyonu farklıdır: duyarlılık hastalıklı örneklerden, özgüllük hastalıksız örneklerden hesaplanır. Her biri için hassasiyet temelli formül ayrı uygulanır:
n = z² × p × (1 - p) / d²
Örnek: Kullanım amacı %95 duyarlılık iddia ediyor ve bunu ±%3 hassasiyetle göstermek istiyorsunuz.
n(hastalıklı) = 1,96² × 0,95 × 0,05 / 0,03² = 3,8416 × 0,0475 / 0,0009 ≈ 203
Özgüllük için beklenen değer %98 ve hassasiyet ±%2 ise:
n(hastalıksız) = 1,96² × 0,98 × 0,02 / 0,02² = 3,8416 × 0,0196 / 0,0004 ≈ 189
Prospektif ardışık tasarımda hedef popülasyondaki prevalans %20 ise, 203 hastalıklı örneğe ulaşmak için yaklaşık 1.015 örnek toplanır; bu sayı 812 hastalıksız örnek de verir ve özgüllük için fazlasıyla yeterlidir. Belirleyici olan, prevalansı düşük olan sınıf için gereken sayıdır.
Beklenen değer 1'e yaklaştıkça ve örneklem küçüldükçe bu Wald yaklaşımı iyimserleşir; analiz planında Wilson veya Clopper-Pearson güven aralığı kullanılacağı belirtilir ve hesap buna göre bir miktar büyütülür.
Kabul kriteri: nokta tahmini değil, alt sınır
Performans değerlendirme raporunda "duyarlılık %96 bulundu" cümlesi tek başına bir sonuç değildir. Kabul kriteri protokolde şu biçimde yazılır: "Duyarlılığın %95 güven aralığının alt sınırı %90'ın üzerinde olmalıdır." Bu biçim, örneklem hesabını kabul kriterine bağlar: alt sınırın eşiği geçmesi için beklenen değer ile eşik arasındaki fark, seçilen hassasiyetten büyük olmalıdır.
Aynı mantık özgüllük, pozitif ve negatif öngörü değerleri için de kurulur. Öngörü değerleri prevalansa bağlı olduğundan raporda hem çalışma prevalansında hem kullanım amacındaki beklenen prevalansta verilir.
IVDR klinik performans çalışmanızın protokolünü ve örneklem gerekçesini Onaylanmış Kuruluş başvurusundan önce yöntem gözüyle gözden geçirmek için 15 dakikalık ücretsiz kapsam görüşmesi talep edin.
Raporlama: STARD 2015 ve ISO 20916
Klinik performans çalışması raporu ISO 20916'nın yapısını izler ve tanısal doğruluk raporlaması için STARD 2015 kontrol listesiyle tamamlanır: katılımcı akış diyagramı, referans standart tanımı ve körleme, belirsiz ve geçersiz sonuçların nasıl ele alındığı, 2x2 tablo, güven aralıklı tüm tahminler ve önceden tanımlı alt grup analizleri. Geçersiz ve belirsiz sonuçlar "hariç tutuldu" diye geçiştirilmez; oranları raporlanır ve kullanım amacına etkisi tartışılır.
PER'de klinik performans bölümü, bilimsel geçerlilik ve analitik performans bölümleriyle aynı kullanım amacı cümlesine bağlanır. Üç ayak birbirini destekler; klinik performansın güçlü olması bilimsel geçerliliğin zayıf literatürle geçiştirilmesini karşılamaz. Literatür ayağının yöntemi için CER literatür taramasında Onaylanmış Kuruluş bulguları yazısındaki ilkeler IVD için de geçerlidir.
Sık Yapılan Hatalar
- Vaka-kontrol örneklemiyle prospektif iddia: Bilinen pozitif ve sağlıklı kontrollerle elde edilen duyarlılık ve özgüllük, tarama veya birinci basamak kullanım amacına taşınamaz; spektrum yanlılığı raporda tartışılır.
- Tek bir n ile iki sonlanım: Duyarlılık ve özgüllük için ayrı örneklem, düşük prevalanslı sınıf belirleyici.
- Referans standarda testi katmak: Kompozit referansın içinde değerlendirilen testin sonucu varsa birleştirme yanlılığı oluşur.
- Eşik değeri çalışma verisinde seçmek: Karar eşiği (cut-off) analitik geliştirme aşamasında kilitlenir; klinik performans çalışması verisinde optimize edilmez.
- Geçiş takvimini beklemek: IVDR sınıf geçiş tarihleri yaklaşırken çalışmayı son aya bırakmak, etik kurul ve örnek toplama süresi nedeniyle en pahalı hatadır.
İlgili Yazılar
- PMCF Çalışmasında Örneklem Büyüklüğü
- CER Literatür Taramasında Onaylanmış Kuruluş Bulguları
- SaMD Klinik Validasyon Çalışması Nasıl Tasarlanır
- CER İstatistik Bölümü Nasıl Yazılır
IVDR klinik performans çalışmasında sayı, tasarımın sonucudur: referans standart bağımsızsa, örneklem hedef popülasyondan geliyorsa ve kabul kriteri güven aralığının alt sınırıyla yazılmışsa örneklem hesabı bir satırlık iştir. Tersi durumda hiçbir örneklem büyüklüğü çalışmayı kurtarmaz. Yöntemin arkasındaki deneyimi hakkımda sayfasında bulabilirsiniz.
Kapsam, süre ve bütçe her dosyada farklıdır; bunları ücretsiz kapsam görüşmesinde netleştiririz: