Yapay zeka modelinizin performansı, üzerine eğitildiği etiketlerin kalitesiyle sınırlıdır. %95 doğruluk iddiasıyla yayınlanan bir model, eğer etiketleme protokolü hatalıysa gerçek klinik ortamda çok daha düşük performans gösterir. Bu durum tıbbi AI literatüründe "garbage in, garbage out" olarak tanımlanır ve alanın en büyük metodolojik sorunlarından biridir.
Referans Standart Neden Sadece "Uzmanın İşaretlemesi" Değildir?
En yaygın yanılgı şudur: "Bir radyolog veya cerrah görüntüleri işaretlerse referans standart (ground truth) hazırdır."
Hayır. Referans standart bir protokoldür, bir kişinin işaretlemesi değil.
Tek bir uzmanın etiketlediği veri setinde birkaç ciddi sorun vardır. Uzmanın kendi içindeki tutarsızlığı (intra-rater variability) zaman içinde değişir; aynı görüntüyü iki hafta arayla farklı etiketleyebilir. Uzmana özgü önyargılar (specialty bias) modele aktarılır. En önemlisi: Tek etiketleyici ile yapılan çalışma, yüksek etkili dergilerde metodolojik zayıflık olarak değerlendirilir ve hakem tarafından işaretlenir.
Uzmanlar Arası Uyumsuzluk Gerçektir
Radyolojide yapılan çalışmalar, deneyimli uzmanların aynı görüntüyü bağımsız olarak değerlendirdiğinde önemli düzeyde uyumsuzluk gösterdiğini ortaya koymaktadır. Bu durum patoloji, dermatoloji ve ortopedide de benzerdir.
Bu uyumsuzluk kötü uzmanlık anlamına gelmez. Tıbbi görüntü yorumunda gerçek bir belirsizlik vardır ve bu belirsizlik modele aktarıldığında modelin de belirsiz davranmasına neden olur.
Referans standart protokolü bu uyumsuzluğu nasıl yöneteceğini önceden tanımlamalıdır. Uyumsuzluk durumunda ne yapılır? Üçüncü uzman mı devreye girer? Oylamayla mı karar verilir? Belirsiz vakalar veri setinden mi çıkarılır? Bu kararların her biri modelin davranışını etkiler.
En Sık Yapılan Hatalar ve Sonuçları
Etiketleme kılavuzu olmadan başlamak: İki uzman aynı terimi farklı anlıyorsa, örneğin "grade 2 OA" için farklı kriterler kullanıyorlarsa, veri seti sistematik olarak tutarsız olur. Model bu tutarsızlıkları öğrenir.
Değerlendiriciler arası uyumu (inter-rater agreement) raporlamamak: Cohen's kappa veya ICC hesaplanmadan yayına gönderilen AI çalışmaları hakem tarafından doğrudan reddedilir. "Two independent radiologists annotated the images" cümlesi artık yeterli değildir; uyum katsayısı istenir.
Etiketçi yorgunluğunu göz ardı etmek: Yüzlerce görüntüyü ardı ardına etiketleyen uzmanın dikkat kalitesi düşer. Oturum süresi, mola protokolü ve kalite kontrol noktaları tanımlanmamışsa veri setinin son yarısı ilk yarısından sistematik olarak farklı olabilir.
Sınır vakaları için protokol yoksa: Her veri setinde tanı koymayı güçleştiren sınırda (borderline) vakalar vardır. Bunların sistematik olarak nasıl ele alınacağı önceden belirlenmemişse her etiketçi farklı karar verir.
Bu Süreçte Nerede Takılınır?
Araştırmacıların en çok zorlandığı noktalar şunlardır: Etiketleme yazılımı seçimi ve kurulumu. DICOM dosyalarının etiketleme platformuna aktarılması. Uzman zamanının koordinasyonu ve takibi. Kalite kontrol sürecinin otomasyonu. Anlaşmazlık vakalarının çözüm protokolü.
Her biri ayrı bir teknik ve organizasyonel karar gerektirir. Bu kararlar veri toplama başlamadan belirlenmezse sonradan düzeltmek çok maliyetlidir.
Medikal AI çalışmanızın referans standart protokolünü birlikte tasarlamak için 30 dakikalık ücretsiz görüşme talep edin.
Bu Analizde En Çok Nerede Takılınır?
- İki uzman aynı görüntüyü farklı etiketledi; değerlendiriciler arası uyum düşük ve hangisinin doğru olduğuna karar veremiyorsunuz.
- Etiketleme protokolü oluşturdunuz ama gerçek veriye uygulandığında sınır vakalar çok fazla çıkıyor.
- Referans standart oluşturma süreci beklediğinizden 5 kat uzun sürdü ve hâlâ bitmedi.