Evaluating the Ability of Large Language Models to Identify Adherence to CONSORT Reporting Guidel...

一、文章主要内容总结

该研究聚焦大型语言模型（LLMs）在识别随机对照试验（RCTs）是否遵循CONSORT 2010报告指南中的表现，通过构建黄金标准数据集并开展零样本评估，核心结论与内容如下：

1. 研究背景：CONSORT指南是RCT透明化、高质量报告的全球基准，但人工核查其依从性耗时耗力，且需专业方法学知识，成为同行评审和证据合成的瓶颈；LLMs在自然语言理解领域展现潜力，但在高风险的方法学评估任务中表现尚未验证。
2. 研究设计：
   • 构建含150篇跨多个医学专科RCT的数据集（RCTBench），涵盖5550个可评估的CONSORT子项，由两名训练有素的方法学家独立标注（分为“合规”“不合规”“不适用”三类），分歧由资深仲裁者解决。
   • 对16款主流LLMs（含GPT、Gemini、Claude、Qwen等系列）进行零样本评估，以宏平均F1分数和Cohen’s Kappa系数为主要指标，结合类别特异性表现和定性误差分析。
3. 核心结果：
   • 整体表现一般：最优模型（Gemini-2.5-Flash、DeepSeek-R1）的宏F1分数仅0.634，Kappa系数约0.28，仅达到与专家共识的“中等”一致性；部分高关注度模型（如GPT-4o）表现不佳（宏F1=0.521）。
   • 类别表现差异显著：所有模型识别“合规”项能力强（F1>0.85），但识别“不合规”（多数模型F1<0.35）和“不适用”项（多数模型F1<0.4