Yapay Zeka ile Sistematik Derleme ve RoB 2

Sistematik derleme + yapay zeka: tehlikeli birlik, doğru kullanıldığında

Bir sistematik derleme tipik olarak 1500-3000 saat insan iş gücü ister. Başlık-özet elemesi tek başına iki bağımsız değerlendiriciyle 80-150 saat. Veri çıkarımı 100-200 saat. Risk of bias değerlendirmesi 30-60 saat. Toplam: yaklaşık bir akademisyen-yılı.

Yapay zeka bu süreyi %40-60 kısaltabilir. Ama yanlış noktada kullanılırsa derleme reddedilir, PROSPERO kaydı silinir, dergiden geri çekme (retraction) çıkar. 2024'te Lancet Digital Health ve BMJ Evidence-Based Medicine art arda başyazı yayınlayıp yapay zeka destekli sistematik derleme için minimum şartları netleştirdi.

Bu yazıda Cochrane Handbook, PRISMA 2020 ve TRIPOD-AI rehberlerine uyumlu, hem akademik ekipler hem CRO ve klinik araştırma şirketleri için yapay zeka kullanım haritasını çıkarıyorum. Hangi aşamada hangi araç, ne kadar güvenebilirsiniz, ikinci bağımsız değerlendirici sınırı nerede başlar.

Aşama 1: Soru Formülasyonu ve Arama Stratejisi

PICO (Population, Intervention, Comparator, Outcome) formülasyonu insan + AI işbirliğine açık.

Doğru kullanım deseni:

Sistematik derleme PICO formülasyonu yapacağım. Klinik soru:
"Total diz protezi ameliyatından sonra robotik destekli vs konvansiyonel
yaklaşımın 5 yıllık fonksiyonel skor (KSS) farkı"

Lütfen aşağıdaki yapıyı doldur:
- Population: dahil/dışlama yaş, primary/revision, OA/RA, BMI sınırı
- Intervention: hangi robotik platformlar (Mako, ROSA, NAVIO, Cori)
- Comparator: konvansiyonel + computer-assisted (CAS) ayrımı
- Outcome: primary (KSS, FJS) + secondary (revision rate, ROM, complication)
- Study design: RCT, prospective cohort, retrospective cohort dahil mi?
- Time frame: minimum follow-up 24 ay?

Sonra MeSH ve Emtree terimlerini öner.

Çıktı sizin taslağınızdır. Onaylar, üzerine yazarsınız. Bir uzman tıp araştırma kütüphanecisi son aramanın geçerliliğini onaylar. Yapay zeka önerisi tek başına arama stratejisi olamaz, çünkü Cochrane Handbook bölüm 4 her sistematik derlemenin kütüphaneci tarafından doğrulanmış bir arama stratejisi gerektirdiğini açık şekilde söyler.

Yapma:

• "PubMed arama dizesini yaz" deyip kopyalayıp doğrudan kullanmak. Yapay zeka bazen sözdizimi hatalı, bazen yanlış MeSH üretir.
• ChatGPT'ye "literatür özetle" deyip arama hiç yapmamak. Bu yeniden üretilebilir değildir, kabul edilmez.

Aşama 2: Başlık-Özet Elemesi (En Büyük Verim)

Yapay zekanın en güçlü, en güvenli kullanım alanı burası. İki ana araç:

ASReview (açık kaynak, ücretsiz)

Aktif öğrenme (active learning) prensibiyle çalışır. Önce 10-20 makaleyi siz elle dahil/hariç işaretlersiniz, model öğrenir, geri kalan binlerce makaleyi öncelik sırasına dizer. Yüksek olasılıkla dahil edilecekler üste, düşük olasılıkla dahil edilecekler alta gelir.

Pratik iş akışı:

1. PubMed veya Embase aramasından 3000-8000 özet Endnote/RIS olarak dışa aktarılır.
2. ASReview'e yüklenir, BERT veya Naive Bayes model seçilir.
3. İlk 20 makale elle elenir, sonra sürekli öğrenmeyle sıralı tarama yapılır.
4. Erken durma kriteri: Son 200 özette hiç dahil edilen çıkmazsa, %95 olasılıkla geri kalan da hariç kalır.

Kazanç: 5000 özetlik bir taramada tipik olarak %50-70 azaltma. 5000 yerine 1500-2500 makaleyi elle okumak yetiyor.

Kritik kural: Cochrane gereği iki bağımsız değerlendirici lazım. ASReview tek başına değerlendirici sayılmaz. İki insan, ASReview ile destekli paralel tarar; sonra ikisinin sonuçları uzlaştırılır.

Rayyan AI

Web tabanlı, ekip işbirliği için eniyilenmiştir. Otomatik yineleme tespiti, körlemeli çift eleme, yapay zeka önerili dahil/hariç işaretleme sunar.

Avantaj: Çoklu ekip üyesinin paralel taraması için en pratik. Dezavantaj: Ücretsiz katman sınırlı, kurumsal kullanımda yıllık 50-300 USD.

Aşamanın PRISMA 2020 raporlaması

PRISMA 2020 madde 8 ve 9: "Used any automation tool? Specify the tool, who validated, and the level of human oversight." Açıkça yapay zeka kullanımı raporlanmalı. Genelde yöntem bölümünde şu cümle yeterlidir:

"Title-abstract screening was performed by two independent reviewers using Rayyan AI active learning support. Each reviewer manually validated AI suggestions; final inclusion was determined by consensus, with a third reviewer resolving discrepancies."

Aşama 3: Tam Metin Ayıklaması

Başlık-özet aşamasını geçen 200-400 makale tam metin okumaya gider. Burada yapay zeka ikinci kez devreye girer ama farklı bir rolde: hızlı ayıklama için özetleme.

Doğru kullanım:

Bu makale tam metnini okudum (yapıştırıyorum). Aşağıdaki PICO kriterlerime
göre dahil edilmeli mi? Lütfen şu formatta cevapla:

1. Population uyumu (var/yok + neden)
2. Intervention uyumu (var/yok + neden)
3. Comparator uyumu (var/yok + neden)
4. Outcome uyumu (var/yok + neden)
5. Study design uyumu (var/yok + neden)
6. Follow-up süresi (X ay)
7. ÖNERİ: Include / Exclude / Uncertain
8. Eğer Exclude, hangi madde nedeniyle (PRISMA flow için)

PICO:
[buraya kendi PICO yapıştırılır]

Kazanç: Bir tam metin makaleyi 15-20 dakika yerine 3-5 dakikada değerlendirebilirsiniz. Yapay zeka çıktısını kabul etmeden önce siz makaleyi de görmüş olmanız zorunludur (gözden kaçan tablo, ek materyal kontrolü).

Kritik: Yapay zekanın "Uncertain" demesi sık olur (o seçeneği kasıtlı eklediyseniz). Bu durumda mutlaka tam okuma ve ikinci değerlendirici müzakeresi gerekir.

Aşama 4: Veri Çıkarımı

En riskli ama en büyük zaman kazandıran aşama. Tipik bir RCT'den çıkarılacak veri kalemleri:

• Çalışma karakteristikleri (yıl, ülke, çok merkezli mi)
• Örneklem (n, ortalama yaş, cinsiyet oranı, BMI, baseline severity)
• Müdahale (cihaz/ilaç adı, doz, süre, eğitim)
• Karşılaştırma (kontrol grup detayları)
• Sonuçlar (her zaman noktasında her outcome için ortalama, SD, n)
• Risk faktörleri ve subgrup analizleri

Otomatik araçlar

RobotReviewer: RCT'lerden otomatik PICO ve RoB çıkarımı yapar. PDF yüklenir, JSON döner. Sadece RCT'lerle çalışır, gözlemsel çalışmalarda kullanılmaz.

Distiller AI (yönetilen hizmet): Kapsamlı veri çıkarımı şablonları ve çok değerlendiricili uzlaştırma arayüzü sunar. Yıllık 1500-4000 USD lisans.

LLM tabanlı kendi veri hattınız: Claude Sonnet 4 veya GPT-4.1 ile uzun bağlamlı PDF okuyup yapılandırılmış JSON çıkarmak. Pratik prompt:

Bu RCT makalesini okudum (yapıştırıyorum). Aşağıdaki JSON şemasına göre
veri çıkar. Bulunmayan alanlar için "NR" (not reported) yaz.

{
  "study_id": "first_author_year",
  "design": "parallel_RCT | crossover_RCT | cluster_RCT",
  "country": "...",
  "n_randomized": {"intervention": 0, "control": 0},
  "n_analyzed": {"intervention": 0, "control": 0},
  "age_mean_sd": {"intervention": [0, 0], "control": [0, 0]},
  "intervention_description": "...",
  "control_description": "...",
  "follow_up_months": 0,
  "primary_outcomes": [
    {
      "name": "KSS",
      "timepoint_months": 24,
      "intervention": {"mean": 0, "sd": 0, "n": 0},
      "control": {"mean": 0, "sd": 0, "n": 0}
    }
  ],
  "funding": "...",
  "conflicts_of_interest": "..."
}

Sadece JSON döndür, başka açıklama yapma.

Kritik kural: Yapay zeka veri çıkarımı tek başına meta-analize girmez. İkinci bir bağımsız insan değerlendirici tüm rakamları PDF ile karşılaştırır. Tipik hata oranı: yapay zeka %3-8 rakam yanlışlığı yapar (özellikle SE ile SD karışıklığı, alt grup ile toplam karışıklığı).

Performans pratiği: Her 10 makalede bir %100 manuel doğrulama. Sürekli kalite kontrol.

Aşama 5: Risk of Bias (RoB 2 ve ROBINS-I)

RoB 2 (RCT'ler için) 5 domain üzerinden değerlendirme yapar:

1. Randomization process
2. Deviations from intended interventions
3. Missing outcome data
4. Measurement of outcome
5. Selection of reported result

Her domain için "Low / Some concerns / High" karar verilir; süreç sinyal soruları (signaling questions) ile yapılandırılmıştır.

Yapay zekanın rolü

RobotReviewer: Otomatik RoB 2 önerisi ve gerekçe paragrafı üretir.

LLM tabanlı yaklaşım:

Bu RCT makalesini okudum (yapıştırıyorum). RoB 2 aracını kullanarak 5 domain
değerlendirmesi yap. Her domain için:
1. Hangi signaling question'a hangi cevap
2. Domain hükmü (Low/Some/High)
3. Gerekçe (1-2 cümle, makaleden alıntıyla)

Sonunda overall RoB 2 hükmü (Low/Some/High) ver.

Performans: LLM RoB 2 ile uzman değerlendirici arasında kappa = 0.55-0.65 (orta-iyi uyum). Bu kappa "yapay zeka tek başına yeter" demek değil; "yapay zeka iyi bir başlangıç noktası" demektir.

Pratik iş akışı:

1. Yapay zeka ön değerlendirme yapar, her domain için karar ve gerekçe üretir.
2. İnsan değerlendirici yapay zeka çıktısını geçersiz kılabilir, gerekçeye ekleme veya değişiklik yapar.
3. İkinci bağımsız değerlendirici aynı süreci paralel yapar.
4. İki insan değerlendirici sonuçları uzlaştırır, uyuşmazlıklarda üçüncü değerlendirici devreye girer.

Aşama 6: GRADE Kanıt Kesinliği

GRADE değerlendirmesi 5 ana faktörü inceler (risk of bias, tutarsızlık, dolaylılık, kesinsizlik, yayın yanlılığı) ve sonlanım bazlı bir kesinlik derecesi çıkarır.

Yapay zeka burada da taslak yardımcısı olur ama nihai karar metodoloğundur. GRADEpro GDT yazılımı resmi aracı olarak kullanılır; yapay zeka sadece önerilen kesinlik seviyesi ve gerekçe taslağı üretir.

Maliyet vs Zaman: Pratik Senaryo

Tipik 30 makalelik RCT meta-analizi için:

Bu rakamlar gerçek çalışmalardan (Hip OA SR CRD420261324092 ve diğer pratiklerden) hesaplanmıştır.

PRISMA 2020 Raporlaması ve Etik

PRISMA 2020 kontrol listesi ve yapay zeka eklentisi (PRISMA-AI 2024) tüm yapay zeka kullanımının raporlanmasını zorunlu kılar:

• Hangi yapay zeka aracı kullanıldı (sürüm dahil)
• Hangi aşamada
• İnsan denetimi nasıl yapıldı
• Başarım ölçütleri (precision, recall, kappa)

ICMJE Vancouver: Yapay zeka bir yazar değildir. Yazar listesinde yer alamaz. Yöntem ve teşekkür bölümlerinde kullanım belirtilir. ChatGPT veya Claude'a "ortak yazar" demek 2024'ten beri tüm büyük dergilerde geri çekme sebebidir.

Ne zaman yapay zeka kullanmamalı

Üç durum vardır:

1. Çok küçük derleme (200 özetten az): Yapay zeka öğrenme eğrisi vakit kaybıdır. Elle daha hızlıdır.
2. Hassas patolojiler ve nadir hastalıklar: Yapay zeka Türkçe nadir hastalık terminolojisinde zayıftır. Elle çalışmak daha güvenlidir.
3. Cochrane resmi derlemesi: Cochrane'in kendi onaylı veri hattı (Cochrane RevMan, EPPI Reviewer) zorunludur. Dış yapay zeka araçları kabul edilmez.

Sonuç

Yapay zeka sistematik derlemeyi öldürmez, ölçeklendirir. Doğru kullanıldığında zaman %40-60 kısalır, bağımsız iki değerlendirici prensibi korunur, PRISMA ve Cochrane standartları aşılmaz.

Yanlış kullanıldığında halüsinasyona dayalı veri çıkarımı, sahte referans, eksik tarama ve dergi geri çekmesi doğar. Aradaki fark, yapay zekanın bir yardımcı katman olduğunu, karar verici olmadığını anlamakta yatar.

Ekipler için pratik tavsiye: önce küçük bir pilot derlemeyle (50-100 makale) iş akışı oturtulur, sonra ölçek büyütülür. Yapay zeka çıktısı her zaman iki bağımsız insan değerlendiricinin sürecinde, ilk taslak veya destekleyici materyal olarak kullanılır.

İlk yapay zeka çalışmanızın tasarımında destek için akademik danışmanlık kapsamındaki çalışma tasarımı hizmetini inceleyebilirsiniz.