Klinik Validasyonu Kim Yapar? İç Ekip mi, Dış Metodolog mu?

Bir SaMD veya medical-AI ürününü ruhsata taşırken erken karşılaşılan somut kararlardan biri şudur: klinik validasyon çalışmasını kim yürütecek? Kendi geliştirme ekibiniz mi, yoksa bağımsız bir metodolog mu? Bu, sadece bir kaynak sorusu değil, dosyanızın regülatör gözünde ne kadar güvenilir olacağını belirleyen bir yapı kararıdır.

Bu yazı, kararı duygusal ("kendi ekibimize güveniriz") değil metodolojik zeminde ele alır: bağımsızlık ilkesinin neden var olduğu, hangi işlerin içeride kalabileceği, hangilerinin ayrışmış olması gerektiği ve somut bir karar matrisi.

Neden Bağımsızlık? Çıkar Çatışması Metodolojik Bir Sorundur

Modeli geliştiren ekip, o modelin başarılı olmasını isteyen ekiptir. Bu, ahlaki bir suçlama değil, yapısal bir gerçektir. Aynı ekip validasyonu da tasarlarsa, farkında olmadan modele avantaj sağlayan yüzlerce küçük karar alır:

• Eşik seçimi: Karar eşiğinin validasyon verisi görüldükten sonra "ayarlanması" (threshold tuning on the test set), performansı yapay olarak yükseltir. Bağımsız metodolog eşiği veri görülmeden protokole kilitler.
• Vaka dışlama: "Bu görüntü kalitesizdi, çıkaralım" tarzı post-hoc dışlamalar sistematik olarak modelin lehine çalışır. Analiz popülasyonu önceden tanımlanmalıdır.
• Referans standart esnekliği: Ground truth belirsiz kaldığında, ekip bilinçsizce modelin çıktısıyla uyumlu yorumlara kayabilir. Referans standardı belirleyen uzmanlar model çıktısını görmemelidir (blinding).
• Metrik seçimi: Sonuç görüldükten sonra "en iyi görünen" metriğin birincil son nokta ilan edilmesi klasik bir bias kaynağıdır.

PROBAST-AI ve TRIPOD-AI, tam da bu risklere karşı geliştirilmiştir. Regülatör veya bildirilmiş kuruluş (notified body), geliştirici ekibin kendi modelini valide ettiği bir dosyada bu bias sinyallerini varsayar ve karşı kanıt arar. Bağımsız bir metodolog, bu kararların çıkar çatışmasından ayrışmış olduğunun somut güvencesidir.

Bağımsızlığı Somutlaştıran Üç Mekanizma

Bağımsızlık bir slogan değil, üç uygulanabilir mekanizmadır:

1. Önceden kilitli protokol ve SAP (pre-locked Statistical Analysis Plan): Model ağırlıkları, ön işleme adımları, karar eşiği ve tüm analiz kararları validasyon verisi görülmeden dondurulur. SAP, birincil son noktayı, örneklem büyüklüğü gerekçesini ve alt grup analizlerini önceden sabitler. Bu belge, dosyanın omurgasıdır.
2. Kör değerlendirme (blinding): Referans standardı üreten uzmanlar index test çıktısını, modeli çalıştıranlar ise referansı görmez. Bu ayrım tasarımla kurulur, sonradan iddia edilemez.
3. İsimli imza: Çalışmayı tasarlayan ve istatistiğini yürüten metodoloğun ismi dosyada geçer. İsimli sorumluluk, hem hakemli yayında hem regülatör dosyasında hesap verebilirliği kurar; anonim bir "iç analiz" aynı ağırlığı taşımaz.

Bu üç mekanizma içeride de uygulanabilir, ancak geliştirme ve validasyonun aynı kişilerde toplandığı bir ekipte kör değerlendirme ve eşik kilidi pratikte çökme eğilimindedir. Ayrışma, bu mekanizmaları yapısal olarak korur.

İç Ekip Ne Zaman Yeterli Olur?

Bağımsızlık ilkesi, "her şey dışarıdan yapılmalı" demek değildir. İç ekip validasyonu şu koşullarda savunulabilir:

• Düşük risk sınıfı: Cihaz EU-MDR Rule 11 altında düşük sınıfa düşüyor ve klinik kararda otonomi seviyesi düşükse, iç validasyonun taşıdığı bias riski daha tolere edilebilir olabilir.
• Yapısal ayrım kurulabiliyorsa: İç ekip yeterince büyükse, validasyonu geliştirmeden ayrı bir alt ekibe verip aralarında bilgi bariyeri (firewall) kurabilir. Küçük ekiplerde bu ayrım genellikle sözde kalır.
• Erken/keşifsel aşama: Ürün henüz iterasyon halindeyse, iç doğrulama (cross-validation, hold-out) geliştirmenin doğal parçasıdır. Ancak bu, regülatör dosyasının beklediği external validation yerine geçmez. İç ve dış doğrulama ayrımı için yapay zeka tıbbi cihaz eksternal validasyon yazısına bakın.

Kritik nokta şudur: iç ekip veri hazırlama, hasta düzeyinde ayrım (patient-level split), sızıntı (data leakage) kontrolü ve alan bilgisi tarafında vazgeçilmezdir. Veri sızıntısının neden dosyayı çökerttiği konusunda validasyon veri sızıntısı ve train/test ayrımı yazısı ayrıntılıdır. Ne var ki bu güçler, bağımsız metodolojiyle çelişmez; onu besler.

Hibrit Model: En Savunulabilir Kurgu

Pratikte en sağlam yapı ikisinin karışımıdır. Kaba bir iş bölümü:

• İçeride kalır: Veri erişimi ve kurasyonu, klinik alan bilgisi, referans standardı üretecek uzman hekimlerin koordinasyonu, ürünün intended use ifadesi, teknik altyapı ve model dondurma.
• Dışarıdan gelir: Çalışma tasarımı ve çalışma tipi seçimi (retrospektif tanısal doğruluk, MRMC reader study, external validation), örneklem büyüklüğü gerekçesi, pre-locked SAP, biyoistatistik yürütme, kalibrasyon ve karar-eğrisi analizi (decision-curve analysis), TRIPOD-AI/STARD-AI uyumlu raporlama ve isimli imza.

Bu kurgu, veriye ve klinik bağlama en yakın olan tarafın (iç ekip) katkısını korurken, çıkar çatışmasından ayrışmış metodolojiyi dışarıdan getirir. Regülatör açısından bu, "geliştirici kendi ödevini not verdi" algısını kıran yapıdır. Bu hibrit rolün nasıl bir kapsamla kurulduğunu SaMD klinik-validasyon danışmanlığı neyi kapsar yazısında bulabilirsiniz.

Cihazınızın risk sınıfına ve regülatör hedefine göre hangi işlerin içeride kalıp hangilerinin dışarıya verilmesi gerektiğini netleştirmek için 15 dakikalık ücretsiz kapsam görüşmesi talep edebilirsiniz.

Karar Matrisi

Kararı üç eksende ele almak faydalıdır:

• Risk sınıfı (EU-MDR Rule 11, MDCG 2019-11): Sınıf yükseldikçe (IIa ve üstü), regülatör bağımsız kanıt beklentisi artar. Yüksek sınıf, dış metodolog veya hibrit lehine güçlü sinyaldir.
• Regülatör hedefi: Sadece iç kalite güvencesi mi, yoksa TİTCK-CDSS, EU-MDR teknik dosya veya FDA başvurusu mu? Dosya resmileştikçe isimli, bağımsız imza ağırlık kazanır. TİTCK, EU-MDR'ı transpoze ettiği için standalone performans ve klinik değerlendirme (MDCG 2020-1) beklentileri Türkiye dosyasında da geçerlidir.
• İç kapasite: İç ekipte, geliştirmeden ayrışabilen, TRIPOD-AI/PROBAST-AI ve SAP tasarımına hakim bir biyoistatistik kapasitesi var mı? Yoksa dış metodolog boşluğu doldurur; varsa hibrit kurguyla dış imza yine de bağımsızlığı güçlendirir.

Pratik özet: düşük risk + iç kalite amacı + güçlü iç biyoistatistik → iç ekip yeterli olabilir. Orta/yüksek risk + regülatör dosyası + yayın hedefi → hibrit veya dış metodolog neredeyse zorunludur. İki uçta da veri ve alan bilgisi içeride, çıkar çatışmasından ayrışmış metodoloji dışarıda ilkesi korunur.

Maliyet ve Zaman: Neyin Sürüklediği

Dış veya hibrit metodoloji kararının ücretini tek bir rakam belirlemez; maliyet ve süreyi (tipik olarak birkaç haftalık pencere aralıklarıyla planlanan) sürükleyen kalemler şunlardır:

• Çalışma tipi: Retrospektif standalone doğruluk çalışması ile prospektif veya MRMC reader study arasındaki fark tasarım yükünü belirler. MRMC kurgusu için MRMC çoklu-okuyucu çalışması yazısına bakın.
• Örneklem büyüklüğü ve güç analizi: Hedeflenen performans alt sınırı ve prevalans, gereken vaka sayısını belirler.
• Referans standardın kurulması: Uzman konsensüsü, çoklu okuyucu adjudication ve kör değerlendirme süreci en emek yoğun kalemdir.
• Tek merkez mi, çok merkez mi: Çok merkezli external validation, veri yönetişimi ve KVKK/GDPR yükünü artırır.
• External validation kapsamı: Ayrı zaman dilimi mi, ayrı merkez mi, farklı cihaz/üretici çeşitliliği mi hedefleniyor.

Bu kalemlerin tam ayrıştırması için SaMD klinik değerlendirme süre ve maliyeti neyi belirler yazısına bakabilirsiniz. Bütün bu kalemler ISO 14971 risk yönetimi çerçevesiyle ve klinik-analitik-CER üçlü katmanıyla ilişkilidir; genel çerçeve için yapay zeka tıbbi cihaz validasyonu: klinik, analitik, CER yazısı iyi bir başlangıçtır.

Sonuç

Klinik validasyonu kimin yapacağı, kaynak sorusu değil güvenilirlik sorusudur. Modeli geliştiren ekibin kendi modelini tek başına valide etmesi, regülatörün varsaydığı bir çıkar çatışmasıdır; bağımsızlık, önceden kilitli protokol, kör değerlendirme ve isimli imza mekanizmalarıyla somutlaşır. En savunulabilir kurgu genellikle hibrit modeldir: veri ve alan bilgisi içeriden, çıkar çatışmasından ayrışmış metodoloji ve isimli imza dışarıdan. Karar; risk sınıfına (EU-MDR Rule 11), regülatör hedefine ve iç biyoistatistik kapasitesine göre verilir. Bu, sonucu garanti etmez; regülatörün savunulabilir bulacağı bir kanıt yapısı kurar.