SaMD Retrospektif Validasyon Çalışması Nasıl Tasarlanır?

Retrospektif validasyon, medical-AI cihazları için en hızlı ve en yaygın kanıt yoludur: hasta popülasyonu zaten mevcuttur, referans standart çoğu zaman kayıtlarda saklıdır. Ancak aynı hız, en sık başarısızlık nedenidir: ekip veriye bakar, iyi görünen eşiği seçer, kötü alt grupları çıkarır ve ortaya "validasyon" değil, gizli bir geliştirme turu çıkar. Bu yazı, retrospektif bir SaMD validasyon çalışmasının bildirilmiş kuruluş (notified body) ve hakem karşısında savunulabilir iskeletini adım adım kurar.

Adım 1: Protokolü ve SAP'ı Veriye Bakmadan Kilitleyin

Retrospektif tasarımın tek en önemli disiplini zamanlamadır. Protokol ve istatistiksel analiz planı (SAP), test verisine bir kez bile bakılmadan yazılır, tarihlenir ve kilitlenir. Bu belge şunları içermelidir:

• Intended use ve hedef popülasyon: Klinik fonksiyon (tarama, CADe saptama, CADx tanı yardımı, ölçüm, risk öngörüsü), dahil etme/dışlama kriterleri, görüntüleme modalitesi ve cihaz çeşitliliği.
• Birincil son nokta ve kabul kriteri (bu adımda sabit): Aşağıda ayrıntılandırılıyor.
• Önceden hesaplanmış örneklem büyüklüğü: Güç analizi SAP'ın parçasıdır, sonuç değil girdidir.
• Analiz popülasyonu kuralları: Eksik veri, yorumlanamayan vaka (uninterpretable) ve teknik başarısızlıkların nasıl ele alınacağı önceden tanımlanır. Vaka sonradan çıkarılmaz.

IMDRF SaMD çerçevesi (N41 klinik değerlendirme prensipleri) ve MDCG 2020-1 (medical device software için klinik değerlendirme rehberi) bu ön-kilitlemeyi doğrudan bekler. TİTCK, EU-MDR'ı birebir transpoze ettiği için Türkiye dosyasında da aynı disiplin geçerlidir; Rule 11 kapsamında çoğu tanı/tedavi kararı destekleyen SaMD Sınıf IIa veya üstüdür ve bu, klinik kanıtın niteliğini yükseltir.

Adım 2: Tek Bir Birincil Son Nokta ve Önceden Tanımlı Kabul Kriteri

Retrospektif çalışmada çoklu son nokta, çoklu karşılaştırma sorununu ve HARKing riskini davet eder. Birincil son nokta tek olmalıdır, geri kalanı ikincil olarak işaretlenir:

• Diskriminasyon (AUC-ROC): Eşikten bağımsız ayırt etme gücü; tarama ve sıralama cihazlarında yaygın birincil metrik. Güven aralığı DeLong yöntemiyle raporlanır.
• Eşik-bazlı sensitivite/spesifisite: CADe saptama cihazlarında genellikle sensitivite önceliklidir. Karar eşiği bu adımda sabitlenir, validasyon setinde optimize edilmez.
• Kabul kriteri (performance goal): Kritik nokta, nokta tahmini değil, güven aralığının alt sınırının önceden belirlenmiş bir eşiği geçmesidir. Örneğin "sensitivite %90'ın altına düşmeyecek" hipotezi, gözlenen sensitivitenin iki taraflı %95 güven aralığının alt ucuyla test edilir. "Modelimiz %94 doğru" ifadesi, güven aralığı ve önceden tanımlı kabul kriteri olmadan regülatör için kanıt sayılmaz.

Risk öngören modellerde diskriminasyona ek olarak kalibrasyon (kalibrasyon eğrisi, gözlenen/beklenen oran) ve klinik yarar için decision-curve analysis (DCA) ikincil son nokta olarak eklenmelidir; TRIPOD-AI bu kalemleri açıkça talep eder.

Adım 3: Örneklem Büyüklüğünü Önceden Hesaplayın

"Elimizdeki tüm vakalar" retrospektif bir örneklem gerekçesi değildir. Örneklem büyüklüğü, birincil son noktayı hedeflenen kesinlikte tahmin edecek formel bir hesapla belirlenir:

• AUC için: Beklenen AUC ve hedeflenen güven aralığı genişliği üzerinden (örneğin Hanley-McNeil yaklaşımı) hasta ve kontrol sayıları hesaplanır. Çoğu zaman pozitif vaka (event) sayısı, toplam N'den daha bağlayıcı kısıttır.
• Sensitivite/spesifisite için: Her biri için ayrı kesinlik hedefi konur. Nadir hedef bulgularda yeterli pozitif vaka toplamak en zor kısımdır ve retrospektif arşiv taramasının kapsamını belirler.
• Alt grup gücü: Cihaz, klinik olarak anlamlı alt gruplarda (yaş bandı, cinsiyet, cihaz üreticisi, hastalık şiddeti) da raporlanmalıdır. EU AI Act Madde 10 (yüksek riskli sistemler için veri yönetişimi ve temsililik) ve FDA AI/ML rehberleri bunu bekler; bu, toplam örneklemi yukarı çeken bir kısıttır.

Adım 4: Referans Standardı ve Okuyucu-Uyum Protokolünü Tanımlayın

Bir validasyon çalışmasının kalitesi, referans standardının kalitesini asla geçemez. Retrospektif tasarımda referans standart (ground truth) tanımı ve okuyucu uyumu önceden yazılır:

• Modelden bağımsızlık: Referans standart, modelin eğitim etiketlerini üreten süreçten ayrı olmalıdır. Aynı okuyucunun hem eğitim etiketini hem referansı üretmesi gizli sızıntı yaratır.
• Standardın seviyesi: Mümkünse histopatoloji, doğrulanmış takip sonucu veya çoklu-uzman konsensüsü gibi "sert" bir referans tercih edilir.
• Okuyucu uyumu: Referansı belirleyen uzmanlar arasındaki uyum (Cohen/Fleiss kappa veya sürekli ölçümler için ICC) önceden tanımlanmış bir protokolle ölçülür ve raporlanır. Okuyucu sayısı, deneyim seviyesi ve uyuşmazlık çözüm kuralı (adjudication) baştan yazılır. Düşük uyum, referansın kendisinin gürültülü olduğunu gösterir.
• Körleme (blinding): Referansı belirleyen uzmanlar model çıktısını, modeli çalıştıranlar ise referansı görmemelidir.
• Imperfect reference standard: Referans kusursuz değilse, bunun performans tahmini üzerindeki etkisi tartışılmalı, gerekirse duyarlılık analizi yapılmalıdır.

Cihazınız klinisyene öneri sunuyorsa, standalone performansa ek olarak bir okuyucu çalışması gerekebilir; MRMC (multi-reader multi-case) tasarımının ne zaman gerektiğini MRMC çoklu okuyucu çalışması rehberimizde ele alıyoruz. SaMD'nizin birincil son noktasını ve kabul kriterini klinik amaca göre netleştirmek için 15 dakikalık ücretsiz kapsam görüşmesi talep edebilirsiniz.

Adım 5: Sızıntıyı Önleyen Hasta-Düzeyi Split

Retrospektif veride en yıkıcı ve en sık hata, veri sızıntısıdır (data leakage). Çözüm, ayrımın hasta düzeyinde (patient-level) yapılmasıdır:

• Hasta-düzeyi ayrım: Aynı hastaya ait tüm görüntüler, seriler ve kesitler yalnızca tek bir sette (train, validation veya test) bulunmalıdır. Görüntü-düzeyi rastgele bölme, aynı hastanın komşu kesitlerini hem eğitime hem teste dağıtarak performansı yapay olarak şişirir ve dış doğrulamada çöker.
• Ön işlemenin tüm veride yapılmaması: Normalizasyon parametreleri, öznitelik seçimi ve eşik kalibrasyonu yalnızca eğitim setinden öğrenilmeli, test setine uygulanmalıdır. Tüm veri üzerinde yapılan preprocessing gizli sızıntıdır.
• Zamansal ayrım seçeneği: Retrospektif kohortta split, gelecekteki dağılım kaymasını taklit etmek için tarihe göre yapılabilir (train = eski dönem, test = sonraki dönem).

Sızıntının mekaniği ve tespiti hakkında ayrıntı için veri sızıntısı ve train-test split yazımıza bakabilirsiniz.

Adım 6: Internal ve External Test, Her İkisi de Kilitli Modelle Bir Kez

Retrospektif validasyonun belkemiği, internal ile external testin ayrımıdır:

• Internal test: Modelin geliştirildiği kaynaktan gelen, eğitimde hiç kullanılmamış hold-out set. Optimizmi azaltır ama dağılım kaymasını (distribution shift) yakalayamaz. Tek başına regülatör dosyası için yeterli değildir.
• External test: Modeli yeniden eğitmeden, farklı bir kaynaktan (başka merkez, başka cihaz/üretici, başka zaman dilimi veya coğrafya) gelen bağımsız veride test. PROBAST-AI'nin en sık yüksek bias riski işaretlediği alan, dış doğrulamanın eksikliğidir. Dış doğrulamanın kendi metodolojik disiplini için eksternal validasyon yazımızı inceleyebilirsiniz.
• Temporal vs geographic: Aynı merkezin gelecekteki vakaları (temporal) en zayıf dış geçerlilik biçimidir; bağımsız merkez verisi (geographic) daha güçlüdür. Hangisinin yapıldığı açıkça belirtilir.
• Tek-kilit kuralı: Hem internal hem external test seti, kilitli modelle yalnızca bir kez koşulur. Sonuca bakıp modeli değiştirip seti tekrar çalıştırmak, testi geçersiz kılar.

Retrospektif Tasarıma Özgü Bias'lar ve Savunması

Retrospektif çalışmanın en büyük zayıflığı, prospektif rastgele örneklemeye kıyasla bias'a açık olmasıdır. Bu bias'lar önceden isimlendirilir ve savunulur:

• Seçilim bias'ı (selection bias): Arşivden vaka seçimi, sonucu bilinen veya "temiz" vakalara kayabilir. Savunma: ardışık (consecutive) veya rastgele örnekleme, tanımlı bir zaman aralığında tüm uygun vakaların dahil edilmesi ve akış diyagramının (STARD-AI çerçevesinde) raporlanması.
• Spektrum bias'ı (spectrum bias): Örneklem, gerçek popülasyonun hastalık şiddeti spektrumunu temsil etmezse (örneğin sadece ileri evre vakalar), sensitivite yapay olarak yükselir. Savunma: hastalık şiddeti ve klinik alt tiplerin popülasyona uygun temsili, prevalansın raporlanması ve alt grup performansının gösterilmesi.
• Verifikasyon (partial verification) bias'ı: Referans standardın yalnızca belirli test sonuçlarına sahip hastalara uygulanması, doğruluğu çarpıtır. Savunma: referans standardın tüm çalışma popülasyonuna aynı kuralla uygulanması.
• Prevalans etkisi: PPV/NPV, örneklem prevalansına duyarlıdır; retrospektif vaka-kontrol örneklemesinde prevalans yapaydır. Savunma: PPV/NPV yerine prevalanstan bağımsız metrikleri (sensitivite, spesifisite, AUC) birincil almak veya hedef popülasyon prevalansına göre ayarlanmış değerleri açıkça belirtmek.

Bu bias'ların her biri, çalışmanın sınırlamalar bölümünde değil, tasarım aşamasında ele alınmalıdır. ISO 14971 risk yönetimi çerçevesinde, artık bias'ın klinik karara etkisi de belgelenir. Retrospektif çalışma nihai kanıt olmayabilir; çoğu dosyada prospektif veya en azından bağımsız dış doğrulama ile tamamlanır. Retrospektif validasyonun klinik/analitik/CER katmanlarına nasıl oturduğunu yapay zeka tıbbi cihaz validasyonu yazımızda inceleyebilirsiniz.

Süre ve Bütçeyi Neyin Belirlediği

Retrospektif çalışmanın kapsamı sabit bir kalem değildir. Ücreti ve süreyi belirleyen başlıca sürücüler:

• Çalışma tipi (yalnız standalone mı, MRMC okuyucu çalışması da mı).
• Örneklem büyüklüğü ve gereken pozitif vaka sayısı (nadir bulgular arşiv taramasını uzatır).
• Referans standardın inşası (mevcut kayıt mı, yoksa çoklu-uzman yeniden etiketleme mi).
• Tek merkez mi, çok merkez mi.
• External validation setinin varlığı ve bağımsızlığı.

Bu sürücülerin projenize nasıl yansıdığını klinik değerlendirme süre ve maliyet yazımızda ayrıntılandırıyoruz; metodolog rolünün iç ekiple mi yoksa dış uzmanla mı yürütüleceği kararı için klinik validasyonu kim yapar yazımıza bakabilirsiniz.

Sonuç

İyi tasarlanmış bir retrospektif SaMD validasyon çalışması, veriye dokunulmadan kilitlenmiş bir protokol ve SAP, tek bir birincil son nokta ile önceden tanımlı kabul kriteri, önceden hesaplanmış örneklem, modelden bağımsız bir referans standart, hasta-düzeyi split ve kilitli modelle bir kez koşulan internal/external testlerle başlar. Seçilim ve spektrum bias'ı bir dipnot değil, tasarım kararıdır. Bu iskelet kurulduğunda aynı retrospektif kanıt hem hakemli yayını hem de TİTCK-CDSS, EU-MDR veya FDA dosyasını besler. Kapsam, süre ve ücret her dosyada farklıdır; bunları ücretsiz kapsam görüşmesinde netleştiririz. Tasarımı baştan doğru kurmak, sonradan yeniden veri toplamaktan her zaman daha az maliyetlidir.

Ücretsiz Scoping Görüşmesi