Eksternal Validasyon: AI Cihazınızın En Zayıf Kanıtı

Yapay zeka tıbbi cihazlarında en pahalı sürpriz, teknik validasyon raporu güçlü görünürken bildirilmiş kuruluşun ya da TİTCK incelemecisinin ilk sorduğu sorunun cevapsız kalmasıdır: "Bu model, sizin verinizin dışında bir yerde de çalışıyor mu?" İç test setinde elde edilen yüksek AUC, tek başına bu sorunun cevabı değildir. Dosyanın kader anı, çoğunlukla eksternal validasyonun varlığı veya yokluğuyla belirlenir.

Bu yazı, eksternal validasyonun neden AI dosyalarındaki en zayıf halka olduğunu, tek merkez ve tek tarayıcı modellerinin dağılım kayması altında neden düştüğünü, güvenilir bir dış doğrulama tasarımının ne gerektirdiğini ve bu kanıtın klinik değerlendirme raporunu (CER) nasıl güçlendirdiğini metodolojik olarak ele alır.

Neden En Zayıf Kanıt: Domain Shift ve Optimizm

Bir model, geliştirildiği veri dağılımını "ezberler". Sorun, gerçek dünyanın o dağılıma uymamasıdır. Dağılım kayması (domain shift) birden fazla eksende gerçekleşir:

• Kovaryat kayması (covariate shift): Görüntü girdisinin istatistiği değişir. Farklı tarayıcı üreticisi, farklı manyetik alan gücü, farklı rekonstrüksiyon kernel'i, farklı doz/protokol, farklı boyama veya kalibrasyon; girdi dağılımını kaydırır.
• Prevalans (prior) kayması: Hastalığın sıklığı merkezden merkeze değişir. PPV ve NPV prevalansa duyarlı olduğu için, aynı sensitivite/spesifisite farklı bir klinik değere karşılık gelir.
• Etiket/tanım kayması: Referans standardın uygulanma biçimi merkezler arasında farklıysa, "aynı" hastalık farklı etiketlenir.
• Popülasyon kayması: Yaş, cinsiyet, etnik dağılım, komorbidite ve hastalık şiddeti farklılıkları modelin görmediği alt gruplara denk gelir.

Internal validation, ister hold-out ister k-fold ister bootstrap olsun, aynı kaynaktan örnek çeker ve bu kaymaların hiçbirini test edemez. Dahası, geliştirme sırasında yapılan model seçimi, eşik ayarı ve özellik seçimi optimizm (optimistic bias) üretir: raporlanan iç performans, popülasyondaki gerçek performansın sistematik olarak üstündedir. Bu iki neden birleşince, tek merkez modeli sahaya çıktığında AUC, sensitivite ve özellikle kalibrasyon belirgin biçimde bozulur. Eksternal validasyonun "en zayıf kanıt" olmasının sebebi, çoğu dosyada ya hiç yapılmamış olması ya da yanlışlıkla internal validation olarak sunulmasıdır.

Regülatör Neden Bu Kalemi İşaretliyor

EU-MDR kapsamında yazılım tıbbi cihazlar Rule 11 altında çoğunlukla Class IIa veya üzeri sınıflanır (sınıflandırma için MDCG 2019-11), ve klinik değerlendirme MDCG 2020-1 çerçevesinde yürütülür. IMDRF'nin SaMD klinik değerlendirme dokümanı (N41), kanıtı üç ayağa oturtur: geçerli klinik ilişki (valid clinical association), analitik validasyon ve klinik validasyon. Bu üçlüde eksternal geçerlilik, "cihazın kendi geliştirme ortamı dışında da amaçlanan popülasyonda çalıştığı" iddiasının tek somut kanıtıdır.

Raporlama tarafında TRIPOD-AI ve PROBAST-AI, dış doğrulamanın varlığını ve niteliğini doğrudan değerlendirir; PROBAST-AI'de dış doğrulaması olmayan ya da yalnızca aynı merkezden bölünmüş veri kullanan modeller "analiz" alanında yüksek bias riski alır. Tanısal doğruluk çalışmalarında STARD-AI ve çok-okuyuculu okuma çalışmalarında MRMC çerçevesi de aynı beklentiyi taşır: kanıt, geliştirme verisinden ayrışmış olmalıdır. TİTCK, EU-MDR'ı ulusal mevzuata birebir transpoze ettiği için Türkiye dosyasında da beklenti aynıdır; CDSS iddiaları için ise cihazın klinisyene bağımsız katkısı ayrıca gösterilmelidir.

Kısaca: eksternal validasyon regülatör tarafında opsiyonel bir "iyi olur" kalemi değil, klinik validasyon iddiasının belkemiğidir.

Güvenilir Bir Eksternal Validasyon Tasarımı Ne Gerektirir

Dış doğrulamayı "başka bir hastanenin verisini de koştuk" cümlesinden ayıran, tasarımın önceden ve dağılım-bilinçli kurulmasıdır.

• Gerçekten bağımsız kaynak: Set, farklı bir merkezden gelmeli; ideal olarak farklı tarayıcı üreticisi/modeli, farklı görüntüleme protokolü ve mümkünse farklı coğrafya/popülasyon içermelidir. Aynı merkezin gelecekteki vakaları (temporal external validation) en zayıf dış geçerlilik biçimidir; bağımsız merkez verisi (geographic) daha güçlüdür ve hangisinin yapıldığı açıkça beyan edilmelidir.
• Kilitli model: Ağırlıklar, ön işleme adımları ve karar eşiği, dış set görülmeden dondurulur (locked model). Dış sette hiçbir yeniden eğitim, fine-tuning veya eşik yeniden kalibrasyonu yapılmaz; yapılırsa çalışma "dış doğrulama" değil, "yeni geliştirme" olur.
• Tek-koşum kuralı: Dış set yalnızca bir kez, kilitli modelle çalıştırılır. Sonuca bakıp modeli değiştirip seti tekrar koşmak, dış doğrulamayı geçersiz kılar ve bunu dosyaya yansıtmamak bilimsel dürüstlük ihlalidir.
• Önceden kilitlenmiş SAP: Birincil son nokta, performans hedefi (performance goal), alt grup analizleri ve dışlama kuralları, dış verinin sonuçları görülmeden yazılır ve tarihlenir. HARKing (sonucu görüp hipotezi ona göre kurmak) dış doğrulamanın en sinsi bias'ıdır.
• Bağımsız referans standart: Dış merkezde ground truth, modelin eğitim etiketlemesinden ayrı ve önceden tanımlı bir kuralla üretilir; kör değerlendirme (blinding) korunur. Referans, dış merkezin kendi pratiğini yansıtmalı, geliştirme merkezinin etiketleyicilerine dayandırılmamalıdır.
• Sızıntı kontrolü: Aynı hastanın kaynaklar arasında paylaşılmadığı hasta düzeyinde ayrımla (patient-level split) doğrulanır; bu konunun ayrıntısı için veri sızıntısı ve train-test split ayrımını incelediğimiz yazıya bakılabilir.

Doğru birincil son noktanın ve gerçekçi performans hedefinin klinik amaca göre belirlenmesi için 15 dakikalık ücretsiz kapsam görüşmesi talep edebilirsiniz.

Ne Kadar Düşüş Beklenmeli: Performans Değil, Değişkenlik

Sık yapılan hata, dış sette iç setle aynı sayının çıkmasını beklemektir. Bu gerçekçi değildir. Yayınlanan literatürde, dış doğrulamada AUC'nin iç değerlere göre gerilemesi kuraldır; asıl mesele düşüşün büyüklüğü ve hangi metrikte olduğudur:

• Diskriminasyon (AUC): Genellikle bir miktar geriler. Beklenen aralık cihaza ve kaymanın şiddetine bağlıdır; SAP'ta savunulabilir bir alt-sınır performans hedefi önceden konmalı ve dış AUC'nin güven aralığının alt ucu bu hedefe karşı test edilmelidir (AUC güven aralığı için sıklıkla DeLong yöntemi).
• Kalibrasyon: Diskriminasyondan çok daha kırılgandır ve çoğunlukla ilk bozulan metriktir. Model iç sette iyi kalibre olsa da dış sette sistematik olarak fazla/eksik tahmin edebilir; kalibrasyon eğrisi ve gözlenen/beklenen oran raporlanmalıdır. TRIPOD-AI bunu açıkça talep eder. Kalibrasyon bozulmuşsa, tam yeniden eğitim yerine yeniden kalibrasyon (recalibration) ayrı ve şeffaf biçimde raporlanabilir, ama bu artık orijinal modelin dış performansı değildir.
• İşletim noktası (sensitivite/spesifisite): İç sette sabitlenen eşik dış sette farklı bir denge verebilir; bu yüzden eşik önceden sabitlenir ve dışarıda yeniden optimize edilmez. Eşiği dışarıda ayarlamak, dış doğrulamayı içselleştirir.
• Alt grup dayanıklılığı: Ortalama iyi görünürken belirli bir tarayıcı, yaş bandı ya da hastalık şiddetinde performans çökebilir. EU AI Act Madde 10 (yüksek riskli sistemler için veri yönetişimi) ve FDA'nın AI/ML rehberleri, performansın alt gruplarda raporlanmasını ve veri temsililiğini açıkça bekler.

Klinik kararlar için sadece diskriminasyon değil, klinik net fayda da gösterilebilir: karar eğrisi analizi (decision curve analysis) ve risk-fayda çerçevesinde ISO 14971 doğrultusunda dış performansın klinik anlamı tartışılır. "Modelimiz dışarıda da yüksek doğruluk verdi" tipi nokta ifadeleri, güven aralığı, önceden tanımlı hedef ve kalibrasyon olmadan CER için kanıt değildir.

Eksternal Validasyon CER'i Nasıl Güçlendirir

Klinik değerlendirme raporunda (CER) eksternal validasyon, birkaç iddiayı aynı anda taşır:

• Genellenebilirlik iddiası: Cihazın intended use popülasyonunda, geliştirme ortamı dışında da çalıştığını gösterir. State-of-the-art analizi ve eşdeğer cihaz argümanlarının aksine, bu doğrudan sizin cihazınıza ait birincil kanıttır.
• Risk-fayda dengesi: Dış performans, ISO 14971 risk analizindeki artık riskleri (residual risk) somut sayılarla besler; performans düşüşü ölçülü ve bilinçli biçimde raporlandığında, risk yönetim dosyası savunulabilir hale gelir.
• PMS/PMCF köprüsü: Dış doğrulama sonuçları, piyasa sonrası klinik takibin (PMCF) hangi alt gruplara ve hangi metriklere odaklanacağını önceden tanımlar; CER'deki boşluklar PMS planına devredilir.
• İnceleme dayanıklılığı: Bildirilmiş kuruluş veya TİTCK incelemesinde en sık geri dönen kalem dış geçerliliktir; önceden yapılmış ve doğru raporlanmış bir dış doğrulama, dosyanın en çok soru alan bölümünü kapatır.

CER'in istatistik bölümünün nasıl kurulduğuna dair genel çerçeveyi SaMD klinik-validasyon çalışmasının tasarımını ele aldığımız yazıda bulabilirsiniz.

Kapsam, Süre ve Maliyeti Belirleyen Etkenler

Eksternal validasyon çalışmasının süresi ve ücreti tek bir sayı değildir; başlıca sürücüler şunlardır:

• Dış veri kaynağının erişilebilirliği: Hazır, anonimleştirilmiş ve etik izinli bir dış kohort mu var, yoksa yeni bir merkezden veri sözleşmesi ve toplama mı gerekiyor? Bu, süreyi en çok belirleyen kalemdir.
• Referans standardın yeniden kurulması: Dış merkezde ground truth'un uzman okumasıyla yeniden üretilmesi (ve gözlemciler arası uyumun ölçülmesi) hem süreyi hem işgücünü büyütür.
• Tek merkez mi çok merkez mi: Birden fazla dış merkez, genellenebilirliği güçlendirir ama koordinasyon, veri uyumlaştırma ve analiz yükünü artırır.
• Örneklem büyüklüğü ve nadir bulgu: Dış sette hedeflenen kesinlik ve gerekli pozitif vaka sayısı, özellikle nadir bulgularda toplama süresini uzatır.
• Standalone mı reader study mi: Sadece standalone performans mı, yoksa dış merkezde MRMC okuyucu çalışması mı? İkincisi okuyucu organizasyonu nedeniyle daha kapsamlıdır.

Bu etkenler her dosyada farklı birleşir; genel süre-maliyet çerçevesini klinik değerlendirmenin süre ve maliyetini belirleyen faktörleri ele aldığımız yazıda tartıştık. Somut aralıklar kapsam görüşmesinde netleşir.

İlgili Yazılar

• SaMD Klinik-Validasyon Çalışması Nasıl Tasarlanır
• TRIPOD-AI ve PROBAST-AI ile Yapay Zeka Tanı Modeli Raporlama
• Yapay Zeka Validasyonunda Veri Sızıntısı ve Train-Test Split
• MRMC Çok-Okuyuculu Çalışma ile Yapay Zeka Tanı Değerlendirmesi

Eksternal validasyon, AI tıbbi cihaz dosyasının en zayıf halkasıdır çünkü çoğu kez ya yapılmamıştır ya da internal validation ile karıştırılmıştır. Oysa doğru kurulduğunda, yani kilitli model, bağımsız ve gerçekten farklı bir dış set, önceden yazılmış SAP ve dürüstçe raporlanmış bir performans düşüşüyle, aynı çalışma hem hakemli yayının hem de CER'in en güçlü kanıt kalemi olur. Bir miktar düşüş beklenir; asıl mesele, o düşüşün önceden tanımlı sınırlar içinde kaldığını ve klinik net faydanın korunduğunu göstermektir. Tasarımı baştan doğru kurmak, dosya reddinden sonra yeniden veri toplamaktan her zaman daha ucuzdur.

Ücretsiz Scoping Görüşmesi