SaMD Klinik-Validasyon Çalışması Nasıl Tasarlanır?

SaMD'ler için en sık görülen başarısızlık nedeni teknik değildir: model dahili test setinde mükemmel performans gösterirken, gerçek bir validasyon çalışmasının istatistiksel iskeleti hiç kurulmamıştır. Regülatör veya bildirilmiş kuruluş (notified body) dosyayı açtığında; önceden kilitlenmiş bir analiz planı, tanımlı bir referans standart ve dış geçerlilik kanıtı arar. Bunların sonradan (post-hoc) üretilmesi mümkün değildir.

Bu yazı, bir SaMD klinik-validasyon çalışmasının metodolojik tasarımını adım adım ele alır: çalışma tipinin seçilmesinden örneklem büyüklüğüne, referans standardın tanımından iç ve dış doğrulama ayrımına kadar. Amaç, hem klinik olarak anlamlı hem de regülatör dosyasında savunulabilir bir kanıt üretmektir.

Önce Niyet Beyanı: Klinik Amaç ve Kullanım Amacı

Tasarımın ilk adımı istatistik değil, kapsamdır. Validasyon çalışması, cihazın kullanım amacı (intended use) ifadesini birebir test edecek şekilde kurgulanmalıdır. Burada netleştirilmesi gereken sorular:

• Klinik fonksiyon nedir? Tarama (triage), tanıya yardım (diagnostic aid, CADx), saptama (detection, CADe), ölçüm (quantification) veya risk öngörüsü mü?
• Hedef popülasyon kim? Yaş aralığı, klinik endikasyon, görüntüleme modalitesi, cihaz/üretici çeşitliliği ile dahil etme ve dışlama kriterleri.
• Otonomi seviyesi nedir? Bağımsız (standalone) karar mı veriyor yoksa klinisyene öneri mi sunuyor? Bu, çalışmanın bağımsız performans çalışması mı yoksa okuyucu çalışması (MRMC) mı olacağını belirler.
• Karar eşiği nerede? Çıktı bir olasılık skoru ise, klinik kullanımda hangi kesim değeri uygulanacaksa validasyonda da o eşik önceden sabitlenmelidir.

Bu niyet beyanı, sonradan değiştirilemeyecek şekilde protokole yazılır. EU-MDR kapsamında bu çerçeve, klinik değerlendirme planının (MEDDEV 2.7/1 Rev 4 yapısı) temelini oluşturur; TİTCK Tıbbi Cihaz Yönetmeliği EU-MDR'ı birebir transpoze ettiği için aynı bağımsız performans beklentisi Türkiye dosyası için de geçerlidir.

Bağımsız Performans Çalışmasının Mimarisi

Çoğu SaMD için birincil kanıt bağımsız (standalone) performans çalışmasıdır: model çıktısı, hiçbir klinisyen müdahalesi olmadan, sabit referans standarda karşı ölçülür. Tasarım kararları:

• Çalışma tipi: Çoğunlukla retrospektif, kesitsel tanısal doğruluk çalışmasıdır (diagnostic accuracy study). Raporlama STARD 2015 ve yapay zeka uzantısı (STARD-AI hazırlık aşamasında) çerçevesine oturmalıdır.
• Veri akışının önceden kilitlenmesi: Model ağırlıkları, ön işleme adımları ve karar eşiği validasyon verisi görülmeden dondurulur (locked model). Validasyon sırasında hiçbir hiperparametre ayarı yapılmaz; aksi halde çalışma "validasyon" değil "geliştirme" olur.
• İndeks test ve referans standart kör değerlendirmesi: Referans standardı belirleyen uzmanlar model çıktısını, modeli çalıştıranlar ise referansı görmemelidir (körleme).
• Önceden tanımlı analiz popülasyonu: Eksik veri, teknik başarısızlık (yorumlanamayan vakalar) ve dışlamaların nasıl ele alınacağı protokolde belirtilir; sonradan vaka çıkarmak yanlılık üretir.

Bağımsız sonuçlar, cihazın ham ayırt etme gücünü gösterir ve klinik iş akışı etkisinden ayrıştırılmış olur. Bu ayrım, hem regülatörün hem de hakemlerin ilk baktığı yerdir.

Birincil Son Nokta ve Performans Metrikleri

Metrik seçimi klinik amaca bağlıdır ve birincil son nokta tek olmalıdır:

• AUC-ROC: Eşikten bağımsız ayırt etme gücünü özetler; tarama ve sıralama amaçlı cihazlarda birincil metrik olarak yaygındır. Güven aralığı (genellikle DeLong yöntemiyle) raporlanır.
• Sensitivite ve spesifisite: Önceden sabitlenmiş klinik eşikte raporlanır. Saptama (CADe) cihazlarında genellikle yüksek sensitivite önceliklidir; bu durumda spesifisite ikincil son nokta olur.
• PPV/NPV: Hedef popülasyonun gerçek prevalansına duyarlıdır; çalışma örnekleminin prevalansı popülasyondan farklıysa bu değerler doğrudan genellenemez. Bu sınırlama açıkça belirtilmelidir.
• Kalibrasyon: Risk öngören modellerde diskriminasyon kadar önemlidir; kalibrasyon eğrisi ve gözlenen/beklenen oran raporlanır. TRIPOD-AI bu kalemleri açıkça talep eder.

Birincil hipotez, performans alt sınırının (örneğin AUC veya sensitivite için önceden belirlenmiş bir performans hedefi) güven aralığının alt ucuyla test edilmesi şeklinde kurulur. "Modelimiz %95 doğruluk verdi" tipi nokta tahminleri, güven aralığı ve önceden tanımlı eşik olmadan regülatör için kanıt değildir.

SaMD cihazınızın hangi metriğin birincil son nokta olması gerektiğini ve performans hedefini klinik amaca göre netleştirmek için 15 dakikalık ücretsiz kapsam görüşmesi talep edin.

Referans Standart (Ground Truth) Tasarımı

Validasyon çalışmasının kalitesi referans standardın kalitesini geçemez. Tasarım kararları:

• Bağımsızlık: Referans standart, modelin eğitiminde kullanılan etiketleme sürecinden ayrı olmalıdır. Aynı okuyucunun hem eğitim hem referans etiketini ürettiği durum gizli sızıntı yaratır.
• Standardın seviyesi: Mümkünse histopatoloji, takip sonucu veya çoklu uzman konsensüsü gibi "sert" bir referans tercih edilir. Uzman konsensüsü kullanılıyorsa okuyucu sayısı, deneyim seviyesi ve uyuşmazlık çözüm kuralı önceden tanımlanır.
• Gözlemciler arası uyum: Referansı tanımlayan uzmanlar arasındaki uyum (örneğin Cohen/Fleiss kappa veya ICC) ölçülür ve raporlanır; düşük uyum, referansın kendisinin gürültülü olduğunu gösterir.
• Kusurlu referans standart sorunu: Referans kusursuz değilse (sıklıkla değildir), bunun performans tahmini üzerindeki etkisi tartışılmalı, gerekirse duyarlılık analizi yapılmalıdır.

Örneklem Büyüklüğü: Tahmin Değil, Güç Analizi

SaMD validasyonunda örneklem büyüklüğü, "elimizdeki tüm vakalar" mantığıyla değil, birincil son noktayı hedeflenen kesinlikte tahmin edecek formel bir hesapla belirlenir:

• AUC için: Hedeflenen güven aralığı genişliği ve beklenen AUC üzerinden (örneğin Hanley-McNeil yaklaşımı) hasta ve kontrol sayıları hesaplanır. Pozitif vaka sayısı (event sayısı) çoğu zaman toplam N'den daha bağlayıcıdır.
• Sensitivite/spesifisite için: Her biri için ayrı kesinlik hedefi konur; nadir hedef bulgularda yeterli pozitif vaka toplamak en zor kısımdır ve çalışma süresini belirler.
• Alt grup analizleri: Cihaz, klinik olarak anlamlı alt gruplarda (cinsiyet, yaş bandı, cihaz üreticisi, hastalık şiddeti) çalışmalıdır. EU AI Act Madde 10 (yüksek riskli sistemler için veri yönetişimi, Ağustos 2026'dan itibaren bağlayıcı) ve FDA AI/ML rehberleri, performansın alt gruplarda da raporlanmasını ve veri temsililiğini açıkça beklemektedir. Bu, toplam örneklemi yukarı çeken bir kısıttır.

Güç analizi protokolün, dolayısıyla istatistiksel analiz planının (SAP) bir parçasıdır ve veriye bakılmadan önce yazılır.

İç ve Dış Doğrulama: Asıl Ayrım

Bu ayrım, SaMD validasyonunun belkemiğidir ve en sık atlanan noktadır:

• İç doğrulama: Modelin geliştirildiği veri kaynağından gelen örneklerle yapılan değerlendirmedir (hold-out test seti, k-fold ya da bootstrap çapraz doğrulama). İyimserliği azaltır ama dağılım kaymasını (distribution shift) yakalayamaz. Tek başına regülatör için yeterli değildir.
• Dış doğrulama: Modeli yeniden eğitmeden, farklı bir kaynaktan (başka merkez, başka cihaz/üretici, başka zaman dilimi, başka coğrafya) gelen bağımsız veri üzerinde test etmektir. PROBAST-AI'nin yüksek yanlılık riski işaretlediği başlıca alan, dış doğrulamanın eksikliğidir.
• Zamansal ve coğrafi dış doğrulama: Aynı merkezin gelecekteki vakaları (zamansal) en zayıf dış geçerlilik biçimidir; bağımsız merkez verisi (coğrafi) daha güçlüdür. Hangisinin yapıldığı açıkça belirtilmelidir.
• Tek-kilit kuralı: Dış doğrulama seti yalnızca bir kez, kilitli modelle çalıştırılmalıdır. Sonuca bakıp model üzerinde değişiklik yapıp seti tekrar koşmak, dış doğrulamayı geçersiz kılar.

TRIPOD-AI ve PROBAST-AI, dış doğrulamanın varlığını ve niteliğini doğrudan değerlendirir; bu yüzden tasarım aşamasında bağımsız bir dış veri kaynağının kilitlenmesi, sonradan giderilemeyecek bir gerekliliktir.

Sık Yapılan Hatalar

• Eğitim-test sızıntısı: Aynı hastanın farklı görüntülerinin hem eğitim hem test setinde bulunması ya da ön işleme/öznitelik seçiminin tüm veri üzerinde yapılması performansı yapay olarak şişirir ve dış doğrulamada çöker.
• Eşiğin veriye bakılarak seçilmesi: Sensitivite/spesifisite için karar eşiğinin validasyon setinde optimize edilmesi, raporlanan performansı iyimserliğe boğar. Eşik önceden sabitlenmelidir.
• İç doğrulamayı dış doğrulama diye sunmak: Aynı merkezin rastgele bölünmüş test seti dış doğrulama değildir; bunu dosyada dış geçerlilik olarak göstermek bildirilmiş kuruluş incelemesinde geri döner.
• Sonradan analiz planı yazmak: Performans görüldükten sonra birincil son noktayı, alt grupları veya dışlama kriterlerini belirlemek (HARKing) çalışmayı doğrulanamaz hale getirir. SAP, kilitli ve tarihli olmalıdır.

İlgili Yazılar

• SaMD Klinik-Validasyon Raporu TİTCK CDSS İçin Nasıl Hazırlanır
• TRIPOD-AI ve PROBAST-AI ile Yapay Zeka Tanı Modeli Raporlama
• Yapay Zeka Validasyonunda Veri Sızıntısı ve Train-Test Split

İyi tasarlanmış bir SaMD klinik-validasyon çalışması, kilitli bir model, bağımsız bir referans standart, önceden yazılmış bir analiz planı ve gerçek bir dış doğrulama setiyle başlar. Bu iskelet kurulduğunda hem hakemli yayın hem de TİTCK, EU-MDR veya FDA dosyası aynı kanıttan beslenir. Kapsam, süre ve bütçe her dosyada farklıdır; bunları ücretsiz kapsam görüşmesinde netleştiririz. Tasarımı baştan doğru kurmak, sonradan yeniden veri toplamaktan her zaman daha ucuzdur.

Ücretsiz Kapsam Görüşmesi