Large language models for automated PRISMA 2020 adherence checking

一、文章主要内容总结

该研究聚焦于大型语言模型（LLMs）在PRISMA 2020指南依从性检查中的应用，核心旨在解决同行评审中手动检查指南依从性的沉重负担，同时填补现有研究中缺乏可共享基准、未系统比较输入格式影响等空白。

研究通过四阶段流程开展：首先构建了含108篇知识共享（Creative Commons）授权系统评价的版权友好型基准数据集；随后进行参数优化（确定提示词顺序、推理预算等最优设置）；接着系统比较了5种输入格式（Markdown、JSON、XML、纯文本、无清单对照组）和10种LLMs的性能，后续验证阶段新增2种模型；最后通过全数据集分析LLMs的误分类模式。

关键发现包括：1）提供结构化PRISMA清单（无论具体格式）的准确率（78.7%-79.7%）显著高于仅输入手稿（45.21%），且不同结构化格式间性能无统计学差异；2）不同LLMs存在明显的敏感性-特异性权衡，准确率范围为70.6%-82.8%，其中Grok-4-fast准确率最高（82.8%），Qwen3-Max等模型敏感性突出；3）在康复领域验证中，5种模型准确率超80%，性能模式与前期一致；4）误分类分析显示，数据/代码可用性、资金来源等项目易出现假阴性，部分方法学细节项目易出现假阳性；5）LLMs可作为“人机协作”框架的辅助工具，但最终编辑决策仍需人类专家验证。

二、文章创新点

1. 构建版权友好的可共享基准：首次整合108篇知识共享授权的系统评价，形成PRISMA 2020依从性检查的公开基准，解决了以往研究中基准数据版权受限、难以共享的问题。
2. 系统验证输入格式