Kısa Cevap
Yapay zeka tıbbi cihaz validasyonu, MDCG 2020-1 mantığında birbirinden ayrı üç kanıt katmanına oturur: (1) geçerli klinik ilişki (valid clinical association), yani cihazın ölçtüğü çıktı ile hedeflenen klinik durum arasında bilimsel olarak kurulmuş bağ; (2) analitik/teknik validasyon (analytical validation), yani yazılımın girdiyi doğru ve tutarlı biçimde beklenen çıktıya dönüştürdüğünün ispatı; ve (3) klinik validasyon (clinical validation), yani bu çıktının hedef popülasyonda klinik olarak anlamlı ve güvenilir olduğunun bağımsız veride gösterilmesi. En sık yapılan hata, iyi bir analitik validasyonu (yüksek AUC, düşük hata) klinik validasyon yerine sunmaktır; bunlar farklı soruları yanıtlar ve CER (Clinical Evaluation Report) her üçünü ayrı ayrı ister. Bir SaMD dosyasında analitik performans klinik geçerliliği ima etmez; klinik validasyon ayrı, önceden kilitlenmiş bir çalışma gerektirir.
Serteser Danışmanlık, bir medical-AI tıbbi cihazı geliştirip çalışmasını hakemli uluslararası bir dergide yayınlamış bir biyomedikal mühendis (BME MSc) tarafından yürütülür; SaMD/medical-AI cihazlarınızın TİTCK-CDSS, EU-MDR ve FDA dosyalarının çekirdeğindeki standalone klinik-validasyon çalışmasını tasarlar, istatistiğini yürütür ve isimli metodolog olarak imzalar. Ürün ruhsatlandırma evrakı, ISO 13485 kalite sistemi ve klinik çalışmanın hekim sorumlu araştırmacılığı şeridimiz dışındadır. Bu yazıdaki katman ayrımı, CER'inizin klinik istatistik çekirdeğini analitik metriklerle karıştırmadan kurmak için başvurabileceğiniz haritadır.
Bir medical-AI cihazı için hazırlanan dosyalarda en yaygın ve en pahalı hata metodolojiktir: ekip, modelin test setindeki teknik başarımını (accuracy, AUC, Dice) klinik kanıt zannedip CER'e olduğu gibi yerleştirir. Bildirilmiş kuruluş (notified body) veya TİTCK değerlendiricisi ise farklı üç soruya ayrı ayrı yanıt arar. Bu yazı, yapay zeka tıbbi cihaz validasyonunun üç kanıt katmanını IMDRF ve MDCG çerçevesinde ayırır ve her katmanın CER'e tam olarak ne borçlu olduğunu gösterir.
Neden Üç Katman: IMDRF ve MDCG Çerçevesi
Katman mantığı Serteser'in icadı değildir; IMDRF'nin SaMD kanıt çerçevesinden (SaMD N41 "Clinical Evaluation") gelir ve EU-MDR tarafında MDCG 2020-1 (Guidance on Clinical Evaluation of Medical Device Software) ile operasyonel hale gelir. MDCG 2020-1, yazılım tıbbi cihazları için klinik kanıtı tam olarak şu üç bileşene ayırır:
- Valid clinical association (geçerli klinik ilişki): Cihazın çıktısı ile hedeflenen klinik/fizyolojik durum arasındaki bağ bilimsel literatürle veya orijinal veriyle desteklenmiş midir?
- Technical/analytical validation (teknik/analitik validasyon): Yazılım, girdi verisini doğru, güvenilir ve tekrarlanabilir biçimde beklenen çıktıya dönüştürüyor mu?
- Clinical validation (klinik validasyon): Doğru üretilen bu çıktı, hedef popülasyonda amaçlanan klinik faydayı sağlayacak ölçüde anlamlı ve güvenilir mi?
Bu üç katman, cihazın sınıflandırmasından bağımsız olarak istenir; ancak kanıtın derinliği sınıfa göre değişir. MDCG 2019-11 ve EU-MDR Kural 11 (Rule 11), klinik karar destek yazılımlarının çoğunu Sınıf IIa veya üzerine iter; bu da klinik validasyon katmanının hafife alınamayacağı anlamına gelir. TİTCK, EU-MDR'ı birebir transpoze ettiğinden Türkiye dosyası için de aynı üç katmanlı beklenti geçerlidir.
Katman 1: Geçerli Klinik İlişki
İlk katman istatistik değil, gerekçedir. Cihaz bir biyobelirteç, bir skor ya da bir görüntü bulgusu ölçüyorsa, bu ölçümün hedeflenen klinik durumla ilişkisinin bilimsel olarak kurulmuş olması gerekir. Bu ilişki genellikle iki kaynaktan gelir:
- Yerleşik literatür: Ölçülen çıktı (ör. belirli bir anatomik yapı veya patolojik bulgu) ile klinik sonuç arasındaki bağ zaten hakemli literatürde kabul görmüşse, sistematik bir derleme ile gösterilir.
- Orijinal kanıt: İlişki yeni veya cihaza özgüyse, bunu kuran bir çalışma tasarlanır.
Bu katmanın CER'e katkısı, klinik değerlendirmenin state of the art bölümü ve intended use gerekçesidir. Katman 1 zayıfsa, mükemmel bir analitik performans dahi anlamsızdır: doğru ölçülen ama klinikle ilişkisi kurulamamış bir çıktı, hasta yararı üretmez.
Katman 2: Analitik/Teknik Validasyon (Sıkça Yanlış Etiketlenen Katman)
Analitik validasyon, "yazılım doğru olanı doğru hesaplıyor mu?" sorusunu yanıtlar. Girdi verisini beklenen çıktıya güvenilir ve tekrarlanabilir biçimde dönüştürdüğünün mühendislik ispatıdır. Tipik bileşenleri:
- Ground truth'a karşı doğruluk: Referans standart kesin ise (ör. cihaz-içi ölçümün kadavra/faz veriye ya da uzman konsensüsüne karşı doğruluğu).
- Tekrarlanabilirlik ve yeniden üretilebilirlik (repeatability / reproducibility): Aynı girdide aynı çıktı; farklı cihaz, protokol veya operatörde tutarlılık.
- Girdi dayanıklılığı (robustness): Gürültü, artefakt, farklı üretici/protokol, eksik veri karşısında bozulma profili.
- Teknik performans metrikleri: Segmentasyon için Dice/Hausdorff, sınıflandırma için ham AUC ve hata dağılımları, ölçüm için Bland-Altman uyumu.
İşte metodolojik tuzak tam burada: analitik validasyon, klinik validasyon değildir. Yüksek bir Dice skoru ya da test setinde 0.95 AUC, yazılımın matematiği doğru yaptığını gösterir; hedef popülasyonda, gerçek klinik akışta, bağımsız veride klinik olarak güvenilir olduğunu göstermez. Bunları CER'de tek başlık altında sunmak, değerlendiricinin ilk yakaladığı zafiyettir. İki katmanın metrik kümesi bile örtüşür ama sordukları soru farklıdır: Katman 2 "doğru hesapladı mı?", Katman 3 "bu doğru çıktı hastada işe yarıyor ve genelleşiyor mu?".
Katman 3: Klinik Validasyon ve CER İstatistik Çekirdeği
Klinik validasyon, çıktının hedef popülasyonda amaçlanan performansı sağladığının bağımsız kanıtıdır. CER'in istatistik çekirdeğini besleyen katman budur ve önceden kilitlenmiş bir metodoloji ister:
- Önceden kilitlenmiş SAP (pre-locked statistical analysis plan): Birincil son nokta, hipotez ve başarı eşiği veri görülmeden sabitlenir.
- Örneklem büyüklüğü gerekçesi (sample-size justification): Birincil metriğin güven aralığını daraltacak güç analizi; "eldeki veri kadar" bir n kabul edilmez.
- Standalone performans ve gerektiğinde MRMC: Cihaz otonom karar veriyorsa standalone; klinisyene öneri sunuyorsa okuyucunun cihazlı/cihazsız performansını ölçen çok-okuyuculu çok-vakalı (MRMC) reader study. Ayrıntı için MRMC çok-okuyuculu çalışma tasarımı yazısı.
- Kalibrasyon: Yalnızca ayrım (discrimination, AUC) değil; öngörülen olasılıkların gerçek sıklıklarla uyumu (calibration plot, Brier skoru). Yalnızca AUC raporlayan dosya eksiktir.
- Klinik fayda çerçevesi: Uygun olduğunda karar eğrisi analizi (decision-curve analysis) ile net fayda; sadece istatistiksel değil klinik anlamlılık.
- Eksternal validasyon: Modeli yeniden eğitmeden, ayrı merkez veya zaman diliminden gelen veri üzerinde performans. Katman 3'ün en belirleyici ve en sık atlanan parçası; ayrıntı için medical-AI eksternal validasyon yazısı.
Bu katmanın bütünlüğü, veri sızıntısı (data leakage) yokluğuna dayanır: hasta düzeyinde train/test ayrımı, aynı hastanın kesitlerinin iki sete bölünmemesi, ön işleme parametrelerinin yalnızca eğitim verisinden öğrenilmesi. Sızıntı, klinik validasyonu görünüşte parlatıp değerlendiricinin ilk soru işaretini üretir; veri sızıntısı ve train-test split yazısı bu hataların anatomisini ele alır. Raporlama çerçevesi olarak öngörü modelleri için TRIPOD-AI, yanlılık değerlendirmesi için PROBAST-AI ve tanısal doğruluk için STARD-AI kullanılır; ISO 14971 risk yönetimi ise her katmanın rezidüel riskini CER'e bağlar.
Üç Katmanı CER'de Ayrı Tutmak
CER, üç katmanı ayrı başlıklar altında, birbirinin yerine geçmeden sunmalıdır. Pratik ayrım:
- Katman 1 state of the art ve intended use gerekçesini besler.
- Katman 2 teknik dosya ve doğrulama (verification) kayıtlarına, yazılım yaşam döngüsüne (IEC 62304) bağlanır.
- Katman 3 CER'in klinik kanıt ve fayda-risk bölümünün istatistik çekirdeğini oluşturur.
En sık düzeltme talebi, Katman 2 metriklerinin Katman 3 boşluğunu doldurmak için kullanılmasıdır. Doğru dosya, analitik başarımı olduğu gibi raporlar ama klinik iddiayı ayrı, bağımsız veriye dayalı klinik validasyona dayandırır. Bu ayrımın kapsamını netleştirmek için 15 dakikalık ücretsiz kapsam görüşmesi görüşmesinde hangi katmanın hangi çalışmayı gerektirdiğini birlikte haritalandırabiliriz.
Zaman ve Ücret Neyi Belirler
Klinik validasyon katmanının süresini ve ücretini birkaç yapısal etken belirler; bunlar sabit bir rakam değil, tasarım kararlarıdır:
- Çalışma tipi: Retrospektif standalone doğruluk çalışması mı, yoksa MRMC reader study mi?
- Örneklem büyüklüğü: Hedef güven aralığı ve alt grup analizleri n'i belirler.
- Referans standart inşası: Uzman konsensüsü, çoklu okuyucu adjudikasyonu ya da bağımsız ground truth kurulumu iş yükünü değiştirir.
- Tek merkez vs çok merkez: Genellenebilirlik için çok merkezli veri, koordinasyon ve maliyet katmanı ekler.
- Eksternal validasyon: Ayrı merkez/zaman diliminden bağımsız veri seti gerektirmesi süreyi uzatır.
Tipik bir retrospektif klinik validasyon çalışması tasarımdan kilitli rapora birkaç haftadan birkaç aya kadar değişen bir band içinde yürür; belirleyici, yukarıdaki etkenlerdir. Süre ve ücret sürücülerinin ayrıntısı için klinik validasyon süre ve maliyeti neyi belirler ve SaMD klinik validasyon danışmanlığı neyi kapsar yazılarına bakabilirsiniz. Retrospektif çalışmanın tasarımına dair adım adım rehber SaMD retrospektif validasyon çalışması nasıl tasarlanır yazısındadır.
Sonuç
Yapay zeka tıbbi cihaz validasyonu tek bir metrikle özetlenemez. Geçerli klinik ilişki, analitik validasyon ve klinik validasyon farklı soruları yanıtlar ve CER her üçünü ayrı ayrı ister. En pahalı hata, iyi bir analitik performansı klinik validasyon yerine sunmaktır: doğru hesaplamak, klinikte genelleşmek anlamına gelmez. Dosyanızın klinik istatistik çekirdeğini, önceden kilitlenmiş bir SAP, gerekçeli örneklem büyüklüğü, kalibrasyon ve eksternal validasyon üzerine kuran bağımsız bir klinik validasyon katmanı, hem MDCG 2020-1 hem de TİTCK-CDSS değerlendiricisinin aradığı asıl kanıttır.