Özet

AMAÇ: Bu çalışmada, yapay zeka (YZ) tabanlı bir değerlendirme aracı (ChatGPT) kullanarak Web of Science (WoS) kapsamında indekslenen 2024 yılı otorinolaringoloji dergi özetleri analiz edildi ve özetlerin dergi metrikleri ile olan ilişkileri incelendi.

YÖNTEMLER: Web of Science kapsamında indekslenen 66 dergiden 515 karşılaştırmalı çalışma özeti üzerinde metodolojik bir analiz yapıldı. Her özet, uluslararası raporlama standartlarından türetilen 10 maddelik bir değerlendirme ölçeği kullanılarak bir yapay zeka dil modeli (ChatGPT-5, OpenAI) tarafından değerlendirildi ve özgünlük, amaç, tasarım, yöntemler, istatistikler, sonuçlar, yorumlama, akış ve etki açısından 0-100 arasında puanlandı. Dergi metrikleri (SCI/ESCI, çeyreklik, Journal Citation Indicator [JCI]), WoS veri tabanından alındı.

BULGULAR: Ortalama toplam kalite puanı 75.3±7.6 (dağılım, 50-94) idi. En yüksek puanlar amaç ve sonuçların açıklığı için alınırken (%91.0±5.6), çalışma tasarımı ve örneklem büyüklüğü için en düşük puanlar alındı. SCI dergilerindeki özetler (%76.0±7.6) ESCI (%70.2±5.1, p<0.001) dergilerine kıyasla daha yüksek puan aldı. Daha yüksek kalite, Q1-Q2 dergilerde yayımlanma ve JCI >1 ile de ilişkiliydi (her ikisi için p<0.001). Çeyreklik sıralama, en yüksek öngörücü değeri gösterdi (eğri altında kalan alan [AUC] =0.76).

SONUÇ: Otorinolaringoloji dergilerinde özet kalitesi değişkendir, ancak dergi etkisi ile pozitif korelasyon göstermektedir. Yapay zeka tabanlı değerlendirme, bilimsel raporlama kalitesini değerlendirmek için objektif ve etkili bir yaklaşım sunmaktadır.