Klinik AI Validasyon Pipeline: TRIPOD/DECIDE-AI

ROC-AUC bir model raporu değil, bir başlangıç noktası

Klinik bir AI modeli yayını okuduğunuzda en sık gördüğünüz iki rakam: sensitivity ve specificity. "Sensitivity %92, specificity %88, AUC 0.94, modelimiz çok başarılı." Cümle ile metin biter.

Sorun şu: ROC-AUC tek başına klinik fayda göstermez. Aynı AUC ile iki model farklı kalibrasyon eğrilerine sahip olabilir; biri kullanılabilir, öbürü değildir. Aynı AUC ile farklı popülasyonlarda farklı net fayda üretebilir. Klinik karar verme threshold'una göre, %92 sensitivity tüm hastalarınız için anlamlı veya anlamsız olabilir.

2024-2025'te TRIPOD-AI ve DECIDE-AI rehberleri çıktı. Bunlar AI çalışmalarının nasıl raporlanacağını yeniden tanımladı. Eski "AUC + sensitivity + specificity" formatı artık yeterli değil. Doğru raporlama: kalibrasyon, decision curve analysis, alt grup analizleri, fairness metrics, prospective deployment.

Bu yazıda klinik AI validasyon veri hattının dört aşamasını, her aşamada yapılması gerekenleri, etik kurul ve TİTCK uyumunu, raporlama standartlarını açıklıyorum.

Aşama 1: İç Doğrulama

Model geliştirme aşamasında. Kendi veri setiniz üzerinde.

Veri ayrımı

• Train (%70): Modeli eğitir.
• Validation (%15): Hiperparametre optimizasyonu (öğrenme oranı, batch size, regularization).
• Test (%15): Sadece final modelin performansını ölçmek için. Tek sefer kullanılır.

Kritik kural: Hasta bazında bölme. Aynı hasta hem eğitim hem test setinde olamaz. CT görüntüsü bölmesinde naif yaklaşım veri sızıntısı yaratır; performans %15-25 şişer.

Cross-validation alternatifi

Küçük veri setlerinde (n < 500) k-fold cross-validation tercih edilir. 5-fold yaygındır. Yine hasta bazında katmanlandırılır.

Raporlanması gerekenler (TRIPOD-AI 2024)

Kalibrasyon neden zorunlu

Bir model %85 olasılıkla "hastalık var" diyorsa, gerçekten hastaların %85'inde hastalık olmalı. Kötü kalibre model %85 dediğinde gerçek oran %60 veya %95 olabilir. Klinisyen modelin olasılığına güveniyorsa, kötü kalibrasyon yanlış karara yol açar.

Kalibrasyon plot: X ekseni model tahminleri (bin'lere bölünmüş), Y ekseni gerçek oranlar. İdeal y = x doğrusu. Sapma kalibrasyon hatası.

Düzeltme: Platt scaling veya isotonic regression ile post-hoc kalibrasyon. Yeniden eğitim gerekmez.

Aşama 2: Dış Doğrulama

Aynı model, farklı veri kaynağı. Bu klinik AI'nın en önemli ve en sık atlanmış aşaması.

Üç tür dış doğrulama

1. Temporal: Aynı merkez, farklı zaman dilimi (model 2022 verisiyle eğitildi, 2024 verisinde test). Drift yakalama için.

2. Geographic: Farklı şehir / merkez. Aynı hasta tipolojisi ama cihaz, protokol, klinisyen farklı.

3. Domain: Farklı popülasyon (yetişkin model, çocuk hastaları). Farklı cihaz üreticisi (GE eğitildi, Siemens test).

Tipik performans düşüşü

Yani iç doğrulamada AUC 0.92 olan bir model, dış doğrulamada 0.75-0.84 arasında performans gösterebilir. Bu normaldir. Asıl sorun, iç doğrulama sonucunu abartıp dış doğrulama yapmamaktır.

Kohort raporlaması

Her dış doğrulama seti için:

• N hasta
• Yaş, cinsiyet, hastalık şiddeti dağılımı
• Cihaz / protokol farklılıkları
• Outcome insidansı
• Kullanılan ground truth standardı

Aşama 3: Prospektif Kullanım Çalışması (DECIDE-AI)

Modelin gerçek klinik akışta nasıl çalıştığını ölçer. Üç ana çalışma tasarımı:

Tasarım A: Silent deployment

Model klinisyene gösterilmez. Arka planda tahmin yapar, klinik karar sürecini etkilemez. Sonradan klinik karar ile model çıktısı karşılaştırılır.

Amaç: Model gerçek dünyada nasıl çalışır, klinik karar verme oranı nasıl değişir.

Süre: 3-6 ay, n ≥ 500 hasta.

Tasarım B: Side-by-side (clinician + AI)

Klinisyene model çıktısı gösterilir. Klinisyen kararı verir. Karar değişikliği oranı + kalitesi ölçülür.

Amaç: Klinik karar destek olarak model değer üretir mi?

Süre: 6-12 ay, n ≥ 1000 hasta.

Tasarım C: Randomized clinical trial (RCT)

Hastalar randomize edilir: bir kol klasik akış, diğer kol AI destekli akış. Klinik outcome karşılaştırması.

Amaç: AI klinik outcome'u (mortalite, morbidite, length of stay, readmission) iyileştirir mi?

Süre: 1-3 yıl, n ≥ 5000 hasta. En yüksek kanıt seviyesi.

DECIDE-AI raporlama (2024)

DECIDE-AI checklist 27 madde içerir. Önemli olanlar:

• Klinik akışın AI öncesi ve sonrası tanımı
• Klinisyen-AI etkileşim tasarımı (override seçeneği, açıklanabilirlik)
• Klinisyen güveni ve kabulü ölçümü
• Hata modları (false positive vs false negative implications)
• Erken durdurma kuralları

Aşama 4: Pazar Sonrası Gözetim

Modelin canlı kullanıma çıktıktan sonraki sürekli takibi. FDA'nın "Predetermined Change Control Plan" (PCCP) konseptiyle 2023'ten beri zorunlu olan kısım.

Drift monitoring

Üç tür drift:

1. Data drift: Giriş verisi dağılımı değişir (yeni cihaz, yeni protokol).
2. Concept drift: Giriş ile çıktı arasındaki ilişki değişir (yeni hastalık alt tipi, popülasyon değişimi).
3. Performance drift: Model çıktısının performansı düşer.

Pratik teknik: Aylık monitoring dashboard.

• Input feature distribution (KL divergence vs baseline)
• Prediction distribution (entropi)
• Subset performance (geri besleme verisi alındıkça)

Retraining triggers

Performans düşüş eşiği aşıldığında otomatik retraining. PCCP'de bu plan önceden tanımlanmış olmalı.

Adverse event tracking

Modelden kaynaklı hata olduğunda (yanlış pozitif → gereksiz biyopsi, yanlış negatif → kaçırılan tanı) raporlama mekanizması.

Türkiye'de Regülasyon Çerçevesi

TİTCK SaMD (Software as a Medical Device)

Üç sınıf:

• Class A: Bilgilendirme amaçlı (radyolojide ön-değerlendirme önerisi). En düşük risk.
• Class B: Tanı destek (kalbritmi anomali tespit). Orta risk.
• Class C: Tanı + tedavi yönlendirici (otomatik bolus dozaj hesap). En yüksek risk.

Sınıfa göre validasyon kanıt ihtiyacı, klinik çalışma sayısı, raporlama yükü artar.

KVKK m.6 özel nitelikli kişisel veri

Sağlık verisi özel nitelikli. Aydınlatılmış onam + açık rıza gerek. AI eğitim verisi için:

• Anonimizasyon mümkünse: KVKK uygulanmaz (m.28/1).
• Pseudonimizasyon: KVKK uygulanır, ama veri minimizasyon ilkesine uyar.
• Tam kimlikli veri: Açık rıza zorunlu.

Etik kurul gereksinimleri

• Retrospektif veri çalışması: Yerel etik kurul onay yeterli (genelde 1-2 ay).
• Prospektif çalışma: Yerel etik kurul + TİTCK klinik araştırma onayı.
• Çok merkezli prospektif: Bakanlık koordinasyon.

Etik kurul başvurusunda teknik bölümün AI çalışmaları için 2024'ten beri eklenen başlıkları:

• Algoritma açıklaması (yapı, eğitim verisi, hiperparametreler)
• Ground truth standardı + uzman değerlendirici sayısı
• Veri güvenliği planı (hangi sunucuda, hangi şifreleme, kim erişir)
• Drift monitoring + retraining planı

Tipik Hatalar ve Düzeltmeleri

Pratik Pipeline Örneği

Tipik bir radyoloji AI çalışmasının zaman çizgisi (örnek: göğüs BT'de pulmoner nodül tespit):

Toplam 24+ ay. Bu hızlandırılabilir ama atlatılamaz.

Sonuç

Klinik AI bir akademik prototip değil, bir tıbbi cihazdır. Validasyon disiplini ilaç klinik araştırmasınınkine benzer ama AI'ya özgü ek katmanlar var: dış doğrulama zorunluluğu, kalibrasyon raporlaması, drift monitoring, DECIDE-AI prospektif çalışması.

Sadece iç doğrulama ile yayın çıkmak hâlâ mümkün (tıp dergilerinin %60'ı kabul ediyor) ama bu makaleler nadiren klinik kullanıma dönüşür. Yayın hedefi yerine "klinik etki" hedefiyle çalışılırsa, dış doğrulama + DECIDE-AI + TİTCK uyumu en başından planlanır.

Türkiye'de medikal AI girişimleri için iki kritik tuzak: (1) sadece akademik AUC peşinde koşmak, (2) regülasyon sürecini sona bırakmak. Doğru yaklaşım: TRIPOD-AI uyumlu çalışma tasarımı + paralel TİTCK + etik kurul ilerletme + 18-24 aylık realist roadmap. Bir SaMD klinik-kanıt çalışmasının uçtan uca nasıl kurgulandığını ayrıca inceleyebilirsiniz.

Kurumunuzda benzer bir yapay zeka veya veri mühendisliği ihtiyacı varsa, profesyonel danışmanlık kapsamında birlikte değerlendirebiliriz.