AMAÇ: Bu çalışmada, yapay zeka (YZ) tabanlı bir değerlendirme aracı (ChatGPT) kullanarak Web of Science (WoS) kapsamında indekslenen 2024 yılı otorinolaringoloji dergi özetleri analiz edildi ve özetlerin dergi metrikleri ile olan ilişkileri incelendi.
YÖNTEMLER: Web of Science kapsamında indekslenen 66 dergiden 515 karşılaştırmalı çalışma özeti üzerinde metodolojik bir analiz yapıldı. Her özet, uluslararası raporlama standartlarından türetilen 10 maddelik bir değerlendirme ölçeği kullanılarak bir yapay zeka dil modeli (ChatGPT-5, OpenAI) tarafından değerlendirildi ve özgünlük, amaç, tasarım, yöntemler, istatistikler, sonuçlar, yorumlama, akış ve etki açısından 0-100 arasında puanlandı. Dergi metrikleri (SCI/ESCI, çeyreklik, Journal Citation Indicator [JCI]), WoS veri tabanından alındı.
BULGULAR: Ortalama toplam kalite puanı 75.3±7.6 (dağılım, 50-94) idi. En yüksek puanlar amaç ve sonuçların açıklığı için alınırken (%91.0±5.6), çalışma tasarımı ve örneklem büyüklüğü için en düşük puanlar alındı. SCI dergilerindeki özetler (%76.0±7.6) ESCI (%70.2±5.1, p<0.001) dergilerine kıyasla daha yüksek puan aldı. Daha yüksek kalite, Q1-Q2 dergilerde yayımlanma ve JCI >1 ile de ilişkiliydi (her ikisi için p<0.001). Çeyreklik sıralama, en yüksek öngörücü değeri gösterdi (eğri altında kalan alan [AUC] =0.76).
SONUÇ: Otorinolaringoloji dergilerinde özet kalitesi değişkendir, ancak dergi etkisi ile pozitif korelasyon göstermektedir. Yapay zeka tabanlı değerlendirme, bilimsel raporlama kalitesini değerlendirmek için objektif ve etkili bir yaklaşım sunmaktadır.

OBJECTIVE: This study aims to analyze 2024 otorhinolaryngology journal abstracts indexed in the Web of Science (WoS) using an artificial intelligence (AI)-based structured rubric (ChatGPT) to assess quality and explore associations with journal metrics.
METHODS: A methodological analysis was conducted on 515 comparative-study abstracts from 66 WoS-indexed journals. Each abstract was evaluated by an AI language model (ChatGPT-5, OpenAI) using a 10-item rubric derived from international reporting standards, scoring 0-100 across originality, aim, design, methods, statistics, results, interpretation, flow, and impact. Journal metrics (SCI/ESCI, quartile, Journal Citation Indicator [JCI]) were retrieved from the WoS database.
RESULTS: The mean total quality score was 75.3±7.6 (range, 50 to 94). Highest scores were for clarity of aim and results (91.0±5.6%), while lowest were for study design and sample size. Abstracts in SCI journals (76.0±7.6) scored higher than ESCI (70.2±5.1, p<0.001). Higher quality was also associated with Q1-2 journals and JCI >1 (p<0.001 for both). Quartile ranking showed the highest predictive value (area under the curve [AUC] =0.76).
CONCLUSION: Abstract quality in otorhinolaryngology journals is variable but correlates positively with journal impact. AI-based evaluation offers an objective, efficient approach to assess scientific reporting quality.