RWE (Gerçek-Dünya Kanıtı) Medical-AI Protokolü: Tasarım, SAP, Confounding

Pivotal validasyon çalışması bittikten sonra "iş bitti" sanmak medical-AI projelerinin en yaygın hatasıdır. Pivotal çalışma, modelinizi seçilmiş, küratör edilmiş, dengeli bir kohortta gösterir. Gerçek dünya öyle değildir: hasta karışımı kayar, cihaz markaları değişir, klinisyen kullanımı standart dışıdır ve veri eksiktir. Gerçek-dünya kanıtı (RWE), tam da bu gürültülü ortamda cihazınızın işe yarayıp yaramadığını gösteren kanıt türüdür.

RWE artık sadece "nice to have" değil. FDA AI/ML dosyalarında total product lifecycle yaklaşımının, EU-MDR'da ise PMCF (post-market clinical follow-up) ve PMS planlarının zorunlu parçasıdır. Ancak retrospektif gözlemsel veriden "kanıt" üretmek, randomize çalışmadan çok daha tehlikeli bir istatistik egzersizidir: yöntemi yanlış kurarsanız, istediğiniz her sonucu üretebilirsiniz. Bu yazı, RWE protokolünü metodolog gözüyle nasıl kuracağınızı anlatır.

RWD ile RWE Farkı: Veri Kanıt Değildir

Önce terminolojiyi netleştirelim, çünkü dosyalarda en sık burada kayma olur.

• RWD (Real-World Data): Ham gerçek-dünya verisi. Elektronik sağlık kayıtları (EHR), görüntüleme arşivi (PACS/DICOM), faturalama/claims verisi, hasta kayıt sistemleri (registry), giyilebilir cihaz verisi. Tek başına bir iddia değildir.
• RWE (Real-World Evidence): Bu verinin uygun bir çalışma tasarımı ve analiziyle işlenerek üretilen klinik kanıt. Bir tedavinin/cihazın yararına veya riskine dair çıkarımdır.

Fark kritiktir çünkü regülatör RWD kalitesini (relevance ve reliability) ayrı, RWE'yi üreten metodolojiyi ayrı denetler. FDA'nın gerçek-dünya verisi/kanıtı rehber paketi tam olarak bu ayrımı yapar: EHR ve claims verisinin uygunluğu, veri standartları, dış kontrol kolları (external control arms) ve çalışma tasarımı ayrı ayrı ele alınır. Sizin dosyanızda da bu iki katman ayrı belgelenmelidir.

Çalışma Tasarımı: Target Trial Emulation Çerçevesi

Retrospektif gözlemsel veriyle çalışırken en disiplinli yaklaşım, Hernán ve Robins'in "target trial emulation" çerçevesidir: yapamayacağınız o ideal randomize çalışmayı önce kâğıt üstünde tasarlar, sonra gözlemsel veriyle onu taklit edersiniz. Bu, immortal time bias ve seçim bias'ının çoğunu daha tasarım aşamasında öldürür.

Protokolde açıkça tanımlanması gereken bileşenler:

• Eligibility kriterleri: Dahil/dışlama, index tarihinde değerlendirilir (geriye dönük "gelecek bilgisiyle" filtreleme yasak).
• Treatment/exposure stratejileri: Burada "AI destekli iş akışı" vs "standart iş akışı" ya da "AI çıktısına göre triyaj" gibi tanımlar.
• Assignment prosedürü: Gerçekte randomizasyon yoksa, confounder dengelemesinin nasıl yapılacağı.
• Takip başlangıcı (time zero): Exposure tanımı, eligibility ve takip başlangıcı AYNI noktada hizalanmalı. Bu hizalama yapılmazsa immortal time bias kaçınılmazdır.
• Outcome ve estimand: Hangi etki ölçülüyor (intention-to-treat benzeri mi, per-protocol mu).

Estimand'i (tahmin hedefini) en baştan yazmak şarttır. ICH E9(R1) addendum'unun estimand çerçevesi, "hangi popülasyonda, hangi karşılaştırmada, hangi sonucu, ara olaylar (intercurrent events) nasıl ele alınarak ölçüyoruz" sorusunu zorunlu kılar. Medical-AI'da tipik bir intercurrent event: klinisyenin AI çıktısını override etmesi. Bunu önceden tanımlamazsanız analiz sonradan keyfîleşir.

Protokol ve SAP: İki Ayrı, Önceden Kilitlenmiş Belge

RWE'nin güvenilirliğinin tek en büyük belirleyicisi, analizin verIyi görmeden kilitlenmiş olmasıdır. Aksi halde "p-hacking" ve gözlemsel veride sayısız analiz dalı arasından en güzel sonucu seçme (garden of forking paths) sorunu dosyayı çürütür.

• Protokol: Araştırma sorusu, tasarım, popülasyon, veri kaynakları, exposure/outcome operasyonel tanımları, örneklem büyüklüğü gerekçesi, confounder listesi.
• SAP (Statistical Analysis Plan): Protokolden ayrı, daha teknik belge. Primary/secondary estimand, model spesifikasyonu, eksik veri (missing data) stratejisi, propensity score yöntemi, alt grup analizleri, duyarlılık analizleri, çoklu karşılaştırma kontrolü.

İdeal pratik: çalışmayı bir registry'ye (örneğin gözlemsel çalışmalar için uygun bir ön kayıt platformuna) kaydetmek ve SAP'ı veri kilitlemeden önce zaman damgasıyla sabitlemek. Bu, dosyanızın "kanıt" olarak değerini kat kat artırır, çünkü hem TRIPOD-AI raporlama hem de regülatör gözünde post-hoc analiz şüphesini ortadan kaldırır.

Confounding ve bias kontrolünü en baştan SAP'a yazılı bir strateji olarak kurmak için 15 dakikalık ücretsiz scoping talep edin.

Confounding ve Bias: RWE'nin Asıl Savaşı

Gözlemsel RWE'de etkiyi gerçek değil bias üretiyor olabilir. Metodolojik cephane:

• Ölçülen confounding: Multivariable regresyon, propensity score (matching, IPTW, stratifikasyon). PROBAST-AI'ın da işaret ettiği gibi, model geliştirmedeki confounder ele alınışı doğrudan bias-of-risk değerlendirmesine girer.
• Ölçülmeyen confounding: En tehlikelisi. Negatif kontrol outcome'ları, E-value hesabı (gözlenen etkiyi açıklamak için ne kadar güçlü bir gizli confounder gerektiğini ölçer) ve duyarlılık analizleriyle sınırlanır.
• Seçim bias'ı: Veriye kim giriyor, kim takipten düşüyor. EHR'da "ölçüldüğü için kayıtlı" hastalar zaten farklı bir popülasyondur (informative presence).
• Immortal time bias: Exposure tanımının takip penceresiyle çakışması. Target trial emulation ile engellenir.
• Spectrum bias / dağılım kayması: Medical-AI'a özgü. Modelin eğitildiği popülasyon ile RWE kohortunun hasta karışımı farklıysa, AUC-ROC gerçek dünyada düşer. Bunu alt grup performansıyla raporlamak gerekir.
• Data leakage: RWE kohortunu kurarken aynı hastanın eğitim setinde bulunması veya zamansal sızıntı, performansı yapay şişirir.

EU AI Act çerçevesinde de yüksek-riskli AI sistemleri için veri yönetişimi (Madde 10) temsililik ve bias kontrolünü zorunlu kılar; ilgili yükümlülükler 2026 Ağustos itibarıyla devreye giriyor. RWE kohortunuzun temsililiği bu yükümlülüğün de kanıtıdır.

FDA RWE Rehberi ve Düzenleyici Konum

FDA, gerçek-dünya verisi ve kanıtı için bir rehber programı yürütür ve bu rehberleri güncel tutar. Pratikte dosyanıza yansıyan başlıklar:

• RWD relevance ve reliability: Veri kaynağının soruya uygunluğu, veri yakalama doğruluğu, eksiklik oranları, traceability.
• EHR ve claims verisinin kullanımı: Operasyonel tanımların kod sistemlerine (ICD, SNOMED, LOINC) bağlanması ve doğrulanması.
• Dış kontrol kolları (external control arms): Tek-kollu çalışmalarda gerçek-dünya karşılaştırma kolu kurma şartları.
• AI/ML için total product lifecycle: Önceden tanımlanmış değişiklik kontrol planı (PCCP) ve sürekli izleme beklentisi.

Burada bir uyarı: FDA-AI rehber paketi sık güncellenir. Dosya yazımında her zaman yürürlükteki sürümün tarihini ve numarasını teyit edin; metodolojiniz rehbere atıfla gerekçelendirilmeli, "rehber böyle diyordu" varsayımına dayanmamalıdır. EU tarafında ise aynı RWE çoğunlukla CER/PMCF ve PMS planının (MEDDEV 2.7/1 Rev 4 mantığında) içine yerleşir.

Post-Market: RWE Bir Olay Değil, Bir Sistemdir

Medical-AI'da RWE'nin en doğal yuvası post-market sürveyanstır. Çünkü model canlıdayken üç şey kayar:

• Data drift: Giriş verisi dağılımı değişir (yeni cihaz, yeni protokol, yeni popülasyon).
• Concept drift: Giriş ile sonuç arasındaki ilişki değişir.
• Performance drift: Kalibrasyon ve ayrım gücü zamanla bozulur.

Post-market RWE planında olması gerekenler: önceden tanımlı performans eşikleri, periyodik yeniden-kalibrasyon tetikleyicileri, kalibrasyon kayması izleme (Brier score, calibration slope), alt grup adalet (fairness) metrikleri ve advers olay raporlama mekanizması. Bu plan PCCP ile uyumlu olmalı; "model güncellenince ne olacak" sorusunun cevabı dosyada önceden yazılı olmalıdır.

Sık Yapılan Hatalar

• SAP'ı veriyi gördükten sonra yazmak: En ölümcül hata. Sonuçları gördükten sonra seçilen analiz, gözlemsel veride neredeyse her zaman "anlamlı" çıkar ve kanıt değeri sıfırlanır. Protokol ve SAP veri kilidinden ÖNCE imzalanmalı, zaman damgalanmalı.
• Confounding'i sadece regresyona güvenerek geçmek: Multivariable model ölçülmeyen confounding'i çözmez. Negatif kontrol, E-value ve duyarlılık analizleri olmadan etkinin nedensel olduğu iddia edilemez.
• Estimand'i tanımlamadan analize girmek: "AI işe yarıyor mu" soruları ICH E9(R1) estimand bileşenlerine (popülasyon, karşılaştırma, sonuç, ara olaylar, özet ölçü) çevrilmeden istatistik yapmak, sonradan yanıtsız sorulara yol açar.
• Train/test ile RWE kohortunu karıştırmak: Modelin eğitim verisinden hasta veya merkez RWE değerlendirmesine sızarsa performans yapay yükselir; bu, dış geçerliliği yok eder.

İlgili Yazılar

• SaMD Klinik Validasyon Çalışması Nasıl Tasarlanır
• EU AI Act Madde 10: Medical-AI'da Veri Temsililiği ve Bias
• TRIPOD-AI ve PROBAST-AI: Yapay Zeka Tanı Modeli Raporlama ve Risk Değerlendirme

RWE, retrospektif veriden kanıt üretme sanatı değildir; disiplinli bir mühendisliktir. Doğru kurulduğunda dosyanızın en güçlü kanıt katmanı, yanlış kurulduğunda regülatörün ilk çürüttüğü kısım olur. Pratikte bu işi metodolojik olarak kuran kişinin kim olduğu (kim estimand'i tanımlıyor, kim confounding stratejisini imzalıyor) doğrudan kabul edilebilirliği belirler. Kapsam, süre ve bütçe her dosyada farklıdır; bunları ücretsiz scoping görüşmesinde netleştiririz.

Ücretsiz Scoping Görüşmesi