SaMD Klinik Validasyon Danışmanlığı: Neyi Kapsar?

Bir SaMD (Software as a Medical Device) geliştirdiniz, model dahili test setinde iyi çalışıyor ve şimdi TİTCK, EU-MDR veya FDA yolunda "klinik validasyon" başlığı önünüzde. Sorun şu: bu başlık altında tam olarak neyin teslim edilmesi gerektiği çoğu ekipte belirsizdir ve belirsizlik, dosya bildirilmiş kuruluşa (notified body) gittiğinde geri döner. Bu rehber, bağımsız bir klinik validasyon danışmanlığının neyi kapsadığını, neyi kapsamadığını ve şirketinizin buna ne zaman ihtiyaç duyduğunu netleştirir.

Klinik Validasyon Nerede Durur: IMDRF ve MDCG Çerçevesi

Karışıklığın kaynağı terminolojidir. IMDRF SaMD çerçevesi (özellikle N41: Clinical Evaluation) SaMD kanıtını üç katmana ayırır:

• Geçerli klinik ilişki (valid clinical association): Cihazın çıktısı ile hedeflenen klinik durum arasında literatürle desteklenen bir bağ var mı?
• Analitik geçerlilik (analytical validation): Yazılım, girdiyi teknik olarak doğru ve tutarlı biçimde çıktıya dönüştürüyor mu?
• Klinik geçerlilik (clinical validation): Cihaz, hedef popülasyonda amaçlanan klinik anlamı gerçekten üretiyor mu?

Klinik validasyon danışmanlığı asıl olarak bu üçüncü katmanı, analitik geçerlilikle sınırında kurar. EU-MDR tarafında bu, MDCG 2020-1 (yazılım için klinik değerlendirme rehberi) ve klasifikasyon için MDCG 2019-11 ile hizalanır. EU-MDR Rule 11, tanı veya tedavi kararını besleyen yazılımın büyük çoğunluğunu Sınıf IIa ve üzerine iter; bu da klinik değerlendirmenin dosyanın merkezinde olması demektir. TİTCK, EU-MDR'ı birebir transpoze ettiğinden aynı beklenti Türkiye dosyası için de geçerlidir.

Kapsam 1: Intended Use ve Kilitli SAP

Angajman istatistikle değil, kapsamla başlar. İlk teslimat intended use ifadesinin ve hedef popülasyonun cerrahi netlikte yazılmasıdır: klinik fonksiyon (triage, CADe, CADx, kantifikasyon, risk öngörüsü), dahil/dışlama kriterleri, görüntüleme modalitesi ve cihaz çeşitliliği, otonomi seviyesi ve klinikte uygulanacak karar eşiği.

Bunun üzerine, veriye bakılmadan önce kilitli istatistiksel analiz planı (SAP) kurulur. Kilitli SAP şunları önceden sabitler: tek birincil son nokta, performans hedefi (performance goal), güç analizine dayalı örneklem büyüklüğü, alt grup analizleri ve eksik/yorumlanamaz vakaların ele alınışı. Performans görüldükten sonra birincil son noktayı veya alt grupları belirlemek (HARKing) çalışmayı doğrulanamaz kılar. SAP tarihli ve kilitli olmalıdır; bu, sonradan üretilemeyecek tek belgedir.

Kapsam 2: Standalone Performans ve Referans Standart

Çoğu SaMD için birincil kanıt standalone performans çalışmasıdır: model çıktısı, hiçbir klinisyen müdahalesi olmadan, sabit bir referans standarda karşı ölçülür. Danışmanlık burada şunları tasarlar:

• Model kilidi (locked model): Ağırlıklar, ön işleme ve karar eşiği, validasyon verisi görülmeden dondurulur. Validasyon sırasında hiperparametre ayarı yapılırsa çalışma "validasyon" değil "geliştirme" olur.
• Referans standart (ground truth) protokolü: Referans, modelin eğitim etiketlemesinden bağımsız olmalıdır. Mümkünse histopatoloji, takip sonucu veya çoklu uzman konsensüsü gibi "sert" bir referans; konsensüs kullanılıyorsa okuyucu sayısı, deneyim ve uyuşmazlık çözüm kuralı önceden tanımlanır.
• Körleme (blinding): Referansı belirleyen uzmanlar model çıktısını, modeli çalıştıranlar referansı görmez.
• Gözlemciler arası uyum: Referansı tanımlayan uzmanlar arası uyum (Cohen/Fleiss kappa veya ICC) ölçülür; düşük uyum, referansın kendisinin gürültülü olduğunu gösterir.

Cihaz klinisyene öneri sunuyorsa (autonom karar vermiyorsa), standalone performansın yanına genellikle bir MRMC (multi-reader multi-case) okuyucu çalışması eklenir; okuyucuların model destekli ve modelsiz performansı karşılaştırılır. Bu ayrımı MRMC çoklu okuyucu çalışması ile yapay zeka tanı validasyonu yazısında ayrıntılandırıyoruz.

Kapsam 3: Eksternal Validasyon ve Veri Bütünlüğü

Angajmanın en sık atlanan ve en belirleyici bileşeni eksternal validasyondur. Internal validation (geliştirme verisinden hold-out veya çapraz doğrulama) optimizmi azaltır ama dağılım kaymasını yakalayamaz ve tek başına regülatör için yetersizdir. Eksternal validasyon, modeli yeniden eğitmeden farklı bir kaynaktan (başka merkez, başka cihaz, başka zaman dilimi, başka coğrafya) gelen bağımsız veri üzerinde tek seferlik test yapmaktır.

Danışmanlık burada iki şeyi güvence altına alır. Birincisi, veri sızıntısının (data leakage) önlenmesi: hasta düzeyinde bölme (patient-level split), aynı hastanın görüntülerinin hem eğitim hem test setinde bulunmaması, ön işleme ve özellik seçiminin yalnızca eğitim verisi üzerinde yapılması. İkincisi, dış geçerliliğin niteliği: bağımsız merkez verisi (geographic) her zaman aynı merkezin gelecekteki vakalarından (temporal) daha güçlüdür ve hangisinin yapıldığı açıkça belirtilir. Veri sızıntısının neden dış doğrulamada çöktüğünü yapay zeka validasyonunda veri sızıntısı ve train-test split yazısında açıklıyoruz. PROBAST-AI, dış doğrulamanın eksikliğini en yüksek bias riski olarak işaretler; bu yüzden bağımsız veri kaynağının tasarım aşamasında kilitlenmesi zorunludur.

SaMD cihazınız için hangi katmanların gerektiğini ve dış veri kaynağının nasıl kilitleneceğini netleştirmek üzere 15 dakikalık ücretsiz kapsam görüşmesi talep edebilirsiniz.

Kapsam 4: CER İstatistik Çekirdeği ve Raporlama

Klinik validasyon çalışması boşlukta durmaz; çıktısı klinik değerlendirme raporunun (CER) istatistik çekirdeğini besler. Danışmanlık, sonuçları MDCG 2020-1 yapısına oturan, savunulabilir bir metodoloji bölümüne dönüştürür:

• Diskriminasyon: AUC-ROC ve güven aralığı (DeLong), önceden sabitlenmiş eşikte sensitivite/spesifisite.
• Kalibrasyon: Risk öngören modellerde kalibrasyon eğrisi ve gözlenen/beklenen oran; diskriminasyon kadar önemlidir.
• Klinik yarar analizi: Uygun olduğunda karar eğrisi analizi (decision-curve analysis), cihazın karar eşiği aralığında net fayda üretip üretmediğini gösterir.
• Raporlama standartları: Çalışma TRIPOD-AI (öngörü modeli raporlama), STARD-AI (tanısal doğruluk) ve PROBAST-AI (bias değerlendirmesi) çerçevelerine hizalanır.

Risk yönetimi tarafında sonuçlar ISO 14971 dosyasıyla bağlanır: performans limitleri, alt grup zayıflıkları ve yanlış negatif/pozitif oranları rezidüel risk değerlendirmesine girdi olur. TİTCK-CDSS dosyasının bu çekirdeği nasıl kullandığını TİTCK CDSS klinik validasyon raporu nasıl hazırlanır yazısında ele alıyoruz.

Kapsam 5: İsimli Metodolog İmzası ve Neden Bağımsızlık

Teslimatın son ve ayırt edici bileşeni, çalışmayı tasarlayan ve istatistiğini yürüten kişinin isimli metodolog olarak imzalamasıdır. Bildirilmiş kuruluş ve regülatör, kanıtın kim tarafından üretildiğini ve bu kişinin geliştirme ekibinden bağımsız olup olmadığını sorar.

Bağımsızlık teknik bir formalite değildir. Geliştirme ekibi kendi modelini valide ettiğinde, eşiği veriye bakarak seçme, iyimser alt grup seçme veya dış doğrulamayı internal validation ile karıştırma eğilimi yapısaldır. Ayrı bir metodolog, SAP'ı kilitler, tek-kilit kuralını uygular ve sonuçları taraf tutmadan raporlar. Bu bağımsızlık, hem dosyanın güvenilirliğini hem de olası bir hakemli yayının savunulabilirliğini artırır. İç ekip mi dış metodolog mu sorusunu ayrı bir yazıda derinlemesine tartışıyoruz.

Kapsam Dışı: Neyi Yapmayız

Dürüst bir angajman, sınırlarını açıkça çizer. Klinik validasyon danışmanlığı şunları kapsamaz:

• Kalite yönetim sistemi (ISO 13485): QMS kurulumu, prosedür yazımı ve iç denetim ayrı bir uzmanlık şeridir.
• Ürün ruhsat evrakı ve dosya submission: Teknik dosyanın regülatöre sunumu, yazışmalar ve idari süreç kapsam dışıdır; biz o dosyanın klinik-istatistik çekirdeğini üretiriz.
• Hekim sorumlu araştırmacılık (PI): Etik kurul onayı gerektiren prospektif bir çalışmada sorumlu araştırmacı bir hekim olmalıdır; metodolog bu rolü üstlenmez.
• Onay garantisi: Metodoloji tasarlarız; hiçbir TİTCK, FDA veya CE onayını, ya da klinik üstünlüğü garanti etmeyiz. Doğru kurulmuş bir çalışma, sonucu değil savunulabilirliği güvence altına alır.

Ne Zaman Gerekir ve Kapsamı Ne Belirler

Bağımsız klinik validasyona ihtiyacınız, cihazınız Rule 11 kapsamında Sınıf IIa+ olduğunda, dosyanız standalone performans veya dış doğrulama kanıtı beklediğinde, ya da hakemli bir yayınla kredibilite kurmak istediğinizde ortaya çıkar. Angajmanın süresi ve ücretini belirleyen etkenler dosyaya göre değişir; başlıca maliyet sürücüleri şunlardır: çalışma tipi (retrospektif standalone mı yoksa MRMC okuyucu çalışması mı), örneklem büyüklüğü ve nadir hedef bulgularda pozitif vaka toplama zorluğu, referans standardın kurulma maliyeti (çoklu okuyucu konsensüsü inşası pahalıdır), tek merkez mi çok merkez mi, ve eksternal validasyon için bağımsız veri kaynağının erişilebilirliği. Tipik bir retrospektif standalone çalışmanın tasarım-analiz-rapor döngüsü çoğunlukla birkaç haftadan birkaç aya uzanan bir aralıkta konumlanır; bu aralığı neyin belirlediğini kapsam görüşmesinde vaka bazında netleştiririz.

Sonuç

SaMD klinik validasyon danışmanlığı, tek bir çıktının çevresinde toplanır: kilitli bir SAP, bağımsız bir referans standart, gerçek bir eksternal validasyon setinden geçmiş standalone performans ve bunu imzalayan isimli bir metodolog. Bu iskelet kurulduğunda hem TİTCK-CDSS, EU-MDR veya FDA dosyası hem de olası bir hakemli yayın aynı kanıttan beslenir. Kapsam dışında bıraktığımız QMS, ruhsat evrakı ve hekim PI rolü ayrı uzmanlıklardır; biz dosyanın klinik-istatistik çekirdeğini bağımsız olarak kurar ve imzalarız. Kapsamı, süreyi ve maliyet sürücülerini her cihaz için ücretsiz kapsam görüşmesinde netleştiririz.