Medikal Veri Seti Kürasyonu: Ground Truth ve KVKK

Modelden önce veri seti gelir

Hekimle yapılan ilk AI çalışmaları toplantısında en sık duyulan cümle: "Hangi modeli kullanacağız?" Cevap şu: o aşamaya gelmeden önce 2-3 ay veri seti üzerinde çalışacağız. Yapay zeka çalışmasının başarısının %70'i model değil, veri seti kalitesidir.

Modern transfer learning ile küçük veri setlerinde bile makul performans alınabiliyor. Ama "veri seti küçük olabilir" ile "veri seti özensiz olabilir" aynı şey değildir. 100 hastalık titiz bir veri seti, 1000 hastalık özensiz bir veri setinden daha iyi model üretir. Klinik AI'da tekrar üretilebilirlik krizi modelden değil, veri seti yetersizliğinden kaynaklanıyor.

Bu yazıda klinik veriden modele hazır veri setine giden altı aşamayı, her aşamadaki tipik hataları ve KVKK uyumunun nereye girdiğini anlatıyorum.

Aşama 1: PHI ayıklama ve pseudonimizasyon

Klinik veri, hassas kişisel veridir. KVKK 6. madde kapsamında özel nitelikli kişisel veri kategorisine girer. Hiçbir AI çalışmasında kimliği belirleyici bilgi bulunmamalıdır.

DICOM üzerinde PHI temizliği:

DICOM dosyaları zengin metadata içeriyor. Hasta adı, doğum tarihi, TCKN, hasta ID, kurum adı, operatör adı, çalışma açıklaması, çalışma tarihleri. Hepsinin temizlenmesi veya pseudonimize edilmesi gerekiyor.

Standart yaklaşım: DICOM De-identification Profile (DICOM PS 3.15 Annex E).

• Basic Profile: temel PHI tag'lerinin temizlenmesi
• Retain Patient Characteristics: yaş, cinsiyet, ağırlık tutulur (klinik anlam için kritik)
• Retain Longitudinal Temporal Information: tarihler hasta bazlı offset ile shift edilir (çalışma sıralaması korunur, gerçek tarih kaybolur)

Pseudonimizasyon vs anonimizasyon:

• Anonimizasyon: kimlik geri döndürülemez. Veri setiniz tamamen anonimse, KVKK uygulanmaz.
• Pseudonimizasyon: kimlik bir mapping tablosu ile geri döndürülebilir. KVKK uygulanır ama veri minimizasyon ilkesine uyar.

Klinik AI çalışmasında genelde pseudonimizasyon tercih edilir; çünkü:

• Veri kalite kontrolünde "bu görüntü acaba aynı hastaya mı ait?" sorusu sorulabilir
• Eğitim/test ayrımında hasta bazında bölme yapılabilir (veri sızıntısını önler)
• Etik kurul revizyonunda hasta geri çağrılabilir

Eşleştirme tablosu güvenliği: Hasta_ID → pseudonim_ID tablosu, veri setinden ayrı ve şifrelenmiş bir kasada saklanır. Erişim yalnızca çalışma sahibine açıktır.

Yaygın hata: DICOM etiketlerini temizlerken görüntünün piksel verisindeki "burned-in PHI" bilgisini atlamak. Bazı modalitelerde (özellikle eski ultrason cihazları) hasta bilgisi görüntünün üzerine yazılır. Bu pikseli de temizlemek gerekir; aksi takdirde model girdisinde PHI kalır.

Aşama 2: DICOM standartlaştırma

Aynı hastanenin farklı cihazlarından gelen aynı modalite görüntüleri bile aynı değildir. Üretici, model ve parametre setine göre voxel spacing, intensity range, orientation ve slice thickness değişir. Modelin girdisini standartlaştırmadan eğitim başlamaz.

Standartlaştırma adımları:

1. Orientation: RAS, LPS, ITK convention. Bütün görüntüler aynı orientation'a getirilmeli. Bir görüntü RAS, diğeri LPS ise model sağ-sol şaşırır.
2. Voxel spacing: Tüm görüntüler aynı isotropic veya tanımlı anisotropic spacing'e resample edilmeli.
3. Intensity normalization: CT için Hounsfield Unit clipping (örnek: kemik için -200 ile 1500 HU arası), MR için z-score normalization veya histogram matching.
4. ROI cropping veya padding: Model girdisi sabit boyut olmalı. Anatomi merkezli crop veya zero padding.

Bu adımların veri hattı genelde Python + SimpleITK + nibabel + monai ile kurulur. Her adımın hangi parametrede çalıştırıldığı versiyon kontrollü tutulmalıdır; çünkü tek bir parametre değişikliği veri setinin tümünü tekrar üretmeyi gerektirir.

Aşama 3: Referans Standart Protokolü

Referans standart (ground truth), modelin öğreneceği "doğru cevap"tır. Bu cevabın nasıl üretildiği, çalışmanın bilimsel değerinin temelidir. TRIPOD ve TRIPOD-AI raporlama kılavuzları bu noktayı çok katı tutuyor.

Referans standart tipleri:

• Klinisyen etiketlemesi (manuel): Bir veya birden fazla uzman görüntüyü/veriyi etiketler. En yaygın yaklaşımdır. Öznel değişkenlik içerir; uzman sayısı ve uzlaşı protokolü kritiktir.
• Klinik kanıt (klinik altın standart): Histopatoloji, cerrahi bulgu, klinik takip. Bir görüntüde "tümör var" diyebilmek için biyopsi sonucunun teyit etmesi gerekir. Bu yaklaşım daha güvenilirdir; ancak veri toplama maliyeti yüksektir.
• Karma: Manuel etiketleme + klinik kanıt birleştirilir. Örnek: segmentasyon için manuel maske + sınıflandırma için klinik tanı.

Protokol soruları:

• Kaç uzman etiketleme yapacak?
• Hangi uzmanlık dalı, hangi deneyim yılı?
• Uzlaşı nasıl kurulacak? Çok değerlendiricili oylama, üçüncü hakem, atlas uyumu?
• Belirsiz vakalar ne olacak? Dışlama mı, ayrı kategori mi?
• Değerlendiriciler arası uyum nasıl ölçülecek (Cohen's Kappa, ICC, Dice, IoU)?
• Değerlendirici içi uyum (aynı uzman aynı vakayı tekrar etiketleyince ne kadar tutarlı)?

Yaygın hata: Tek uzman etiketlemesi. Pilot çalışma için kabul edilebilir; ancak yayına giden çalışmada en az iki, ideal olarak üç uzman olmalı ve değerlendiriciler arası uyum raporlanmalıdır.

Aşama 4: Etiketleme İş Akışı

Protokolden uygulamaya geçiş. Burada yazılım altyapısı + uzman zamanı + kalite kontrolü üçgeni kurulur.

Etiketleme araçları:

• 3D Slicer: Tıbbi görüntü segmentasyonu için en yaygın kullanılan açık kaynak araç. Çok değerlendiricili iş akışını destekler.
• ITK-SNAP: Daha hafif ve tek kullanıcılıdır. Klasik segmentasyon için yeterlidir.
• MD.ai, Labelbox, V7 Darwin: Bulut tabanlı, çoklu kullanıcılı, denetim kaydı (audit log) dahildir. Ticari maliyeti vardır; ancak büyük veri setlerinde ekip koordinasyonu kolaylaşır.
• OHIF + görüntüleyici + özel arka uç: Kuruma özel etiketleme platformları için tercih edilir.

Etiketleme öncesi pilot: İlk 10-20 vakayı tüm uzmanlar etiketler. Değerlendiriciler arası uyum hesaplanır. Düşükse protokol gözden geçirilir, eğitim yapılır, kalibrasyon görüşmesi düzenlenir. Bu adım atlanırsa, 300 vakalık veri setinin tamamı etiketlendikten sonra uyum düşük çıkar ve baştan başlanır.

Tahmini süreler (ortalama):

• 2D radyolojik görüntü (X-ray, mamografi) sınırlayıcı kutu: 30-60 saniye
• 2D segmentasyon maskesi: 2-5 dakika
• 3D MR/CT segmentasyon (örnek: tek anatomik yapı): 10-30 dakika
• 3D çok sınıflı segmentasyon (4-8 sınıf): 30-90 dakika

500 hastalık bir veri setinde 3D çok sınıflı segmentasyon, tek uzmanın 250-750 saatlik işidir. İki uzman ile bu süre iki katına çıkar. Bu hesap pilot öncesi yapılır ve bütçelenir.

Aşama 5: Kalite Kontrolü

Etiketleme tamamlandıktan sonra otomatik ve manuel kalite kontrolü yapılır.

Otomatik kontroller:

• Beklenmeyen voxel spacing, orientation veya etiket sınıfı
• Boş etiket (tüm voxel = 0)
• Aşırı küçük etiket (örnek: 5 voxel'den az bir lezyon maskesi, ya hata ya aşırı uç vaka)
• Sınıf dengesizliği raporu

Manuel kontroller:

• Rastgele örnekleme ile %10 vakanın gözden geçirilmesi
• Aykırı vakaların (en küçük ve en büyük etiket) ayrı incelenmesi
• Değerlendiriciler arası uyumsuzluğu yüksek vakaların ayrı rapor edilmesi

Yeniden etiketleme kuralı: Belirgin hata yakalanan vakalar tekrar etiketlenir. Kaç vaka, hangi nedenle, hangi tarihte değiştirildi, kayıt tutulur.

Aşama 6: Eğitim / Doğrulama / Test Ayrımı

Modern AI çalışmalarında ortak hata, hastane bazında veya rastgele bölmedir. Doğru ayrım hasta bazında ve tabakalıdır.

Hasta bazında ayrım: Aynı hastanın farklı görüntüleri farklı setlerde olmazsa veri sızıntısı oluşur. Hastane A'nın 100 hastasının 80'i eğitimde, 20'si testtedir. Eğitimdeki hastanın takip görüntüsü teste karışırsa, model "öğrenmiş" gibi görünür; gerçekte aynı hastayı tanır.

Tabakalı ayrım: Sınıf dağılımı korunur. Eğitimde %20 pozitif vaka varsa, testte de %20 olmalıdır. Sonuç değişkeninde dengesizlik varsa tabakalandırma şarttır.

Dış doğrulama seti: Mümkünse farklı kurumdan bağımsız bir test seti. Aynı kurumdan veri ile eğitilip aynı kurumdan veri ile test edilen model, dış kuruma genelleşmeyebilir (seçim yanlılığı, cihaz yanlılığı).

Tipik oranlar: %70 eğitim, %15 doğrulama (hiperparametre ayarı için), %15 test (hold-out, model son haline geldikten sonra tek seferlik). Veri seti küçükse k-katlı çapraz doğrulama tercih edilir.

TRIPOD-AI 2024 raporlama: Eğitim, doğrulama ve dış test setlerinin nasıl ayrıldığı, hangi karakteristiklere göre tabakalandırıldığı, hasta sayısı ve demografik özet ile raporlanmalıdır. Eksik raporlama major revizyon sebebidir.

KVKK uyumu zinciri

Tüm süreç boyunca KVKK uyumu:

1. Veri toplama: Etik kurul onayı + KVKK uyumlu açık rıza veya kamu yararı dayanağı (geriye dönük çalışmalarda)
2. Veri saklama: Şifrelenmiş depolama, erişim kontrolü, denetim kaydı
3. Veri işleme: Sadece çalışma kapsamında; başka amaçla kullanılmaz
4. Veri paylaşımı: Anonimleştirilmiş veri seti yayında veya veri deposunda paylaşılabilir; eşleştirme tablosu paylaşılmaz
5. Veri imhası: Çalışma bittiğinde belirlenen sürede eşleştirme tablosu imha edilir (genelde 5 yıl, etik kurul kararına göre)

Aydınlatma metni ve açık rıza: Çalışma protokolüne göre hazırlanır, etik kurul onayından geçer. Geriye dönük çalışmalarda kamu yararı + bilimsel araştırma istisnası çerçevesinde değerlendirilir.

Yaygın hatalar ve maliyeti

Yol haritası

İlk AI çalışması için tipik zaman çizelgesi:

• Hafta 1-2: Protokol yazımı (çalışma sorusu, ground truth tanımı, etik kurul)
• Hafta 3-4: Etik kurul başvurusu hazırlığı, sözleşmeler
• Hafta 5-12 (etik kurul beklenirken): Pilot veri seti üzerinde DICOM veri hattı ve etiketleme aracı testi
• Hafta 12-24: Veri toplama + etiketleme (paralel)
• Hafta 24-28: Kalite kontrolü, eğitim/doğrulama/test ayrımı
• Hafta 28+: Model eğitimi, raporlama

Çoğu hekim "modeli yazalım, üç ayda bitirelim" diye düşünüyor. Gerçek şu: ciddi bir AI çalışması veri seti aşamasında 6 ay, model ve raporlamada 3-6 ay daha sürer. Bu süreyi kısaltan tek şey veri setine erkenden hak vermektir.

Araştırma veri altyapınızda destek için akademik danışmanlık hizmetlerini inceleyebilirsiniz.