Kısa Cevap
Bir SaMD (yazılım tıbbi cihaz) için klinik validasyon kanıtı üç ayrı ayaktan oluşur: bilimsel geçerlilik (çıktının klinik durumla anlamlı bağlantısı), analitik/teknik validasyon (girdiden doğru ve tekrarlanabilir çıktı) ve klinik validasyon (hedeflenen popülasyonda hedeflenen klinik amacın gerçekten sağlanması). Bu üçlü, IMDRF SaMD N41 çerçevesinden gelir ve EU MDR tarafında Klinik Değerlendirme Raporu (CER) içinde MDCG 2020-1 metodolojisiyle ayrı ayrı kanıtlanır. TİTCK ayrı bir SaMD kılavuzu yayımlamaz; EU MDR 2017/745'i ulusal mevzuata transpoze eder, dolayısıyla Türkiye için kanıt çerçevesi EU çerçevesidir. Class IIa ve üzeri cihazlarda çekirdek belgeler kullanım amacı cümlesi, standalone performans çalışması, CER ve PMCF planıdır. Doğru kurgulandığında tek bir çalışma tasarımı TİTCK, EU MDR ve FDA'nın örtüşen beklentilerinin büyük kısmını karşılar; ayrıştıkları yerler ise baştan planlanır.
Serteser Danışmanlık, medikal yapay zeka girişimleri ve klinik araştırma ekipleri için bağımsız metodoloji desteği sunar. Bu yazıyı hazırlayan, bir medical-AI tıbbi cihazı geliştirip uluslararası hakemli bir dergide yayımlamış bir biyomedikal mühendistir (BME MSc). Bu, ürünü satan tarafın değil, kanıtın metodolojik sağlamlığını bağımsız değerlendiren bir metodolog konumudur: çalışma tasarımı, standalone performans, CER istatistiği ve raporlama kılavuzu uyumu tek bir dosya-teslimat mantığına bağlanır.
Klinik Kanıt Nedir, Ne Değildir
Medical-AI ekiplerinin en sık yaptığı çerçeve hatası, bir performans metriğini kanıt sanmaktır. "AUC 0.94, sensitivite yüzde 92" bir metriktir; kanıt değildir. Kanıt, bir iddianın belirli bir bağlamda geçerli olduğunu gösteren, izlenebilir ve denetlenebilir bir zincirdir. Zincir kullanım amacı cümlesiyle başlar (cihaz kimin için, hangi klinik kararda, ne iddia ediyor), bir çalışma tasarımıyla devam eder ve bir belge setiyle kapanır.
Metrik ile kanıt arasındaki fark pratikte şudur: aynı AUC değerine sahip iki model, biri kullanılabilir öbürü kullanılamaz halde olabilir. Fark, metriğin hangi popülasyonda, hangi referans standardına karşı, önceden mi yoksa sonradan mı seçilmiş bir eşikte üretildiğidir. Regülatör ve notified body de tam olarak bunu sorar: rakamı değil, rakamın nasıl ve nerede üretildiğini. Bu yüzden kanıt paketi, tek tek metriklerin toplamı değil, iddiadan belgeye giden bütünlüklü bir haritadır.
Kullanım Amacı Cümlesi: Tüm Paketin Kök Belgesi
Kanıt paketinin kök belgesi kullanım amacı (intended use / intended purpose) cümlesidir. Bu cümle, cihazın klinik iddiasını, hedef popülasyonu, klinik ortamı ve kullanıcı profilini tek bir cümlede sabitler. Kök belge olmasının nedeni, hem sınıflandırmayı hem de tüm kanıt gereksinimini bu cümlenin belirlemesidir.
EU MDR Ek VIII Kural 11'e göre teşhis veya tedavi kararına bilgi sağlayan yazılım, kural olarak en az Class IIa'dır. Bilgi ölüm veya geri döndürülemez kötüleşmeye yol açabiliyorsa Class III, ciddi kötüleşme veya cerrahi müdahaleye yol açabiliyorsa Class IIb'ye yükselir. Nitelendirme ve sınıflandırma kararlarının ana kılavuzu, modüler yazılım, öngörücü fonksiyon ve sınırdaki vakaları netleştiren MDCG 2019-11 (Avrupa Komisyonu, 2019) belgesidir. Kullanım amacı cümlesi bu yüzden bir pazarlama metni değil, kaldıraçtır: fazladan iddia ederseniz sınıfınız ve kanıt yükünüz yükselir, eksik iddia ederseniz ürününüz reklamı yapılamayan bir kutuya sıkışır. Cümle veri toplamaya başlamadan önce dondurulmalıdır, çünkü sonradan değişen her iddia, arkasındaki kanıtı geçersizleştirir.
Kanıt Haritası: Hangi Belge Hangi Alıcı-Sorusunu Kapatır
Kanıt paketinin farklı alıcıları vardır (regülatör, notified body, hastane satın-alma komitesi) ve her biri farklı bir soru sorar. Aşağıdaki matris, bir Class IIa/IIb SaMD için çekirdek belgelerin hangi soruyu kapattığını gösterir.
| Belge | Kapattığı alıcı-sorusu | Dayanak çerçeve |
|---|---|---|
| Kullanım amacı cümlesi | Bu cihaz kimin için, hangi kararda, ne iddia ediyor? | MDR Ek VIII Kural 11, MDCG 2019-11 |
| Bilimsel geçerlilik dosyası | Çıktının klinik durumla bağlantısı gerçek mi? | IMDRF SaMD N41, MDCG 2020-1 |
| Analitik/teknik validasyon raporu | Yazılım girdiden doğru ve tekrarlanabilir çıktı üretiyor mu? | IMDRF SaMD N41, MDCG 2020-1 |
| Standalone performans (dış validasyon) | Performans, bağımsız bir popülasyonda tutuyor mu? | MDCG 2020-1 |
| Klinik Değerlendirme Raporu (CER) | Fayda-risk dengesi klinik kanıtla destekleniyor mu? | MDR Madde 61, MDCG 2020-1 |
| Bias/temsililik dosyası | Eğitim ve test verisi hedef popülasyonu temsil ediyor mu? | MDCG 2020-1, veri yönetişimi ilkeleri |
| PMCF planı ve PMS döngüsü | Performans zamanla ve sahada nasıl izlenecek? | MDR Madde 61, sürekli klinik değerlendirme |
Bu haritanın değeri, parçaları tek tek çözmek yerine bütünü göstermesidir. Bir ekip standalone performans çalışmasını mükemmel yapıp bilimsel geçerlilik dosyasını atlarsa, kanıt paketi eksik kalır; regülatör "rakam iyi ama bu çıktının klinik durumla bağlantısını nerede gösterdiniz" diye sorar.
Standalone Performans mı, Klinik Etki mi: Kanıt Katmanları
Kanıt iki farklı seviyede kurulabilir ve ikisini karıştırmak sık yapılan bir hatadır.
Birincisi standalone performans: yazılımın, insan kullanıcıdan bağımsız olarak, önceden tanımlı bir referans standardına karşı ne kadar doğru çıktı ürettiği. Burada üç tasarım kuralı kanıtı ayakta tutar:
- Referans standardı (ground truth) önceden tanımlı ve indeks-teste kör olmalıdır. Tercihen çoklu-okuyucu konsensüsü veya histopatoloji gibi bir altın standart kullanılır. Ground-truth kalitesi, tüm performans iddiasının tavanıdır: kötü referans, iyi model iddiasını çürütür.
- Dış/bağımsız validasyon zorunludur. Performans, eğitimden tam ayrık; farklı merkez, farklı cihaz ve farklı popülasyondan bir test setinde raporlanmalıdır. İç (split) validasyon tek başına klinik validasyon yerine geçmez. Hasta seviyesinde veri sızıntısı ve seçim yanlılığı ayrıca kontrol edilir.
- Analiz planı önceden kilitlenmelidir. Birincil endpoint, kabul eşiği, alt-gruplar ve örneklem büyüklüğü hesabı, veri kilidinden ve analizden önce dondurulur. Sonradan (post-hoc) eşik seçimi kanıtı geçersizleştirir.
İkincisi klinik etki: yazılımın, hedeflenen kullanım bağlamında klinik amacı gerçekten sağlayıp sağlamadığı. AI-destekli okuma iddiaları için altın-standart tasarım, okuyucu ve vaka değişkenliğini birlikte modelleyen fully-crossed MRMC (Multi-Reader Multi-Case) çalışmasıdır: aynı okuyucular yazılım ile ve yazılım olmadan okur, fark ROC/AUC üzerinden ölçülür. Bu ayrım kritiktir çünkü standalone doğruluğu yüksek bir model klinik iş akışında fayda üretmeyebilir; iddianız hangisi ise kanıtınız o katmanda kurulmalıdır.
Tek Çalışma, Üç Bölge: TİTCK, EU MDR ve FDA
En pahalı hata, aynı ürün için üç ayrı çalışma tasarlamaktır. Doğru kurgulanmış tek bir standalone/klinik çalışma, üç bölgenin örtüşen beklentilerinin büyük kısmını karşılar; çünkü hepsi aynı IMDRF üçlüsüne dayanır.
- Türkiye (TİTCK): Türkiye ayrı bir SaMD/CDSS kılavuzu yayımlamaz. TİTCK, EU MDR 2017/745'i ve ÜTS altyapısını ulusal mevzuata birebir transpoze eder. Dolayısıyla TR için bağlayıcı referans EU çerçevesidir ve TR başvurusu için hazırlanan kanıt, EU MDR için de yeniden kullanılabilir.
- EU MDR: Klinik kanıt, CER içinde MDCG 2020-1 (Avrupa Komisyonu, 2020) metodolojisiyle sunulur. CER yapısı, kapsam ve klinik değerlendirme planından, ilgili verinin tanımlanması ve ağırlıklandırılmasına (appraisal), veri sentezi ve fayda-riske, nihai raporun yazımına uzanır. MDR altında klinik değerlendirme tek seferlik değil, PMS/PMCF döngüsüyle süreklidir.
- FDA: SaMD çoğunlukla 510(k) veya De Novo yolundan ilerler; klinik-validasyon beklentisi yine IMDRF üçlüsüyle hizalıdır. FDA tarafındaki en önemli yaşam-döngüsü aracı, modelin her güncellemede yeniden başvuru gerektirmeden değiştirilmesine izin veren PCCP'dir (Predetermined Change Control Plan).
Ayrıştıkları yer, esas olarak yaşam-döngüsü yönetimidir: FDA'nın PCCP final kılavuzu (FDA, Aralık 2024) üç bileşen ister (değişiklik tanımı, değişiklik protokolü, etki değerlendirmesi); EU tarafında bunun karşılığı sürekli klinik değerlendirme ve PMCF döngüsüdür. Bu farkı baştan planlarsanız, tek çalışma üç dosyayı besler.
Raporlama Kılavuzları Kanıtı Nasıl Kabul Edilebilir Yapar
İyi bir çalışma, kötü raporlandığında reddedilebilir. Raporlama kılavuzları, kanıtın denetçi ve hakem tarafından değerlendirilebilir olmasını sağlar; hangisini kullanacağınız çalışma tipine bağlıdır.
- Tanısal/prognostik tahmin modeli geliştirdiyseniz: TRIPOD+AI (BMJ, 2024), regresyon veya makine öğrenmesi tabanlı klinik tahmin modellerinin raporlanması için güncel standarttır.
- AI tabanlı tanısal-doğruluk çalışması yaptıysanız: STARD-AI (Nature Medicine, 2025), yapay zeka merkezli tanısal doğruluk çalışmaları için nihai raporlama kılavuzudur.
- Erken-aşama, canlı klinik ortamda insan-AI değerlendirmesi yaptıysanız: DECIDE-AI (Nature Medicine, 2022), karar destek sistemlerinin erken klinik değerlendirmesi için kullanılır.
- AI müdahalesi içeren randomize kontrollü çalışma yürütüyorsanız: rapor için CONSORT-AI (Nature Medicine, 2020), protokol için SPIRIT-AI (Nature Medicine, 2020).
Kılavuza uyum bir formalite değildir: hakem veya denetçi, eksik raporlanan bir kalemi "kanıt yok" olarak okur. Kalibrasyon, alt-grup analizi ve referans standardının nasıl kurulduğu raporda yoksa, çalışma yapılmış olsa bile gösterilememiş sayılır.
Reviewer ve Denetçi En Çok Nerede Reddeder
Bağımsız değerlendirmede tekrar tekrar aynı açıklar geri döner. Kanıt paketini teslim etmeden önce bu altı kalem üzerinden geçmek, en pahalı gecikmeleri önler.
- Dış validasyon yok, sadece split validasyon var. İç validasyon klinik validasyon yerine geçmez; bağımsız merkez/popülasyon şarttır.
- Eşik veya endpoint sonradan seçilmiş. Post-hoc eşik seçimi en sık geçersizleştirme nedenidir; analiz planı veri kilidinden önce kilitlenmelidir.
- Referans standardı zayıf veya indeks-teste kör değil. Ground-truth kalitesi tüm iddianın tavanıdır.
- Kullanım amacı ile çalışma popülasyonu örtüşmüyor. Cihaz bir popülasyon için iddia edip başka bir popülasyonda valide edilmiş.
- Bilimsel geçerlilik ayağı atlanmış. Performans rakamı var ama çıktının klinik durumla bağlantısı belgelenmemiş.
- PMCF/PMS planı yok. MDR altında klinik değerlendirme sürekli olduğu için, sahada izleme planı olmayan dosya eksik kabul edilir.
Şirket-İçi mi, Dış Metodolog mu: Devredilebilir Parçalar
Kanıt paketinin her parçası aynı ölçüde devredilebilir değildir. Kullanım amacı cümlesi ve klinik iddia, kaçınılmaz olarak ekibin (klinik ve ürün sahipliğinin) kendi kararıdır; bunlar dışarıya bırakılamaz. Buna karşılık analiz planının önceden kilitlenmesi, standalone performansın istatistiksel tasarımı, dış validasyon setinin kurgusu, referans standardı protokolü, kalibrasyon ve alt-grup analizleri ile raporlama-kılavuzu uyumu, bağımsız bir metodologa devredilebilen ve devredildiğinde en çok değer üreten parçalardır. Bağımsızlığın kendisi bir kanıt niteliğidir: analiz planını üründen çıkarı olan tarafın kilitlemesi ile bağımsız bir tarafın kilitlemesi, aynı belge olsalar dahi denetçi gözünde farklı ağırlık taşır.
Pilot Veriden Regülatif Kanıta: Ne Zaman Çalışma Başlar
Klinik-öncesi pilot verisi değerlidir ama tek başına regülatif kanıt değildir. Pilot, kullanım amacını netleştirmek, referans standardını denemek ve örneklem büyüklüğü için ön kestirim üretmek için kullanılır. Pilot verisi regülatif kanıta, ancak önceden kilitli bir analiz planı, bağımsız bir test seti ve ön-tanımlı endpoint'lerle yürütülen bir çalışmaya dönüştüğünde geçer. Pratik eşik nettir: eşiği ve endpoint'i veriyi gördükten sonra seçiyorsanız hâlâ pilottasınız; ikisini de veriyi görmeden dondurup bağımsız bir sette test ediyorsanız çalışmadasınız.
Bu ayrım, bütün kanıt paketinin özetidir. Kanıt, iyi rakamlar toplamak değil; iddiayı önce sabitleyip sonra bağımsız olarak sınamaktır.
SaMD kanıt paketinizin hangi parçalarının dosyaya hazır olduğunu, hangi ayakların (bilimsel geçerlilik, analitik validasyon, klinik validasyon) eksik kaldığını ve tek çalışmayla üç bölgeyi nasıl karşılayacağınızı bağımsız olarak değerlendirmek için 15 dakikalık ücretsiz scoping görüşmesi talep edebilirsiniz.
İlgili Yazılar
- SaMD'imiz Class IIa mı IIb mi? Yazılım Tıbbi Cihaz Sınıflandırması
- SaMD Klinik-Validasyon Çalışması Nasıl Tasarlanır?
- Klinik AI Validasyon Pipeline: TRIPOD ve DECIDE-AI
- Clinical Evaluation Report (CER) İstatistik Bölümü Nasıl Yazılır
- TİTCK CDSS Klinik Validasyon Raporu Nasıl Hazırlanır?
- EU AI Act Madde 10: Medical-AI'da Veri Yönetişimi ve Temsililik
- RWE (Gerçek-Dünya Kanıtı) Medical-AI Protokolü