LLM4SCREENLIT: Recommendations on Assessing the Performance of Large Language Models for Screenin...

一、文章主要内容总结

该研究聚焦于大型语言模型（LLMs）在系统评价（SRs）文献筛选中的性能评估问题，通过分析1篇核心研究（DC+）和27篇相关文献，指出当前评估实践中的关键缺陷，并提出针对性建议与改进方案：

1. 核心问题识别

• 指标误用：多数研究依赖准确率（Accuracy）等对不平衡数据不稳健的指标，导致误导性结论（如部分LLM准确率达96%却未识别任何相关文献）；
• 证据丢失忽视：假阴性（FN，遗漏相关文献）对SR质量影响远大于假阳性（FP，误纳入无关文献），但现有评估未充分重视召回率（Recall）和证据丢失率（1-Recall）；
• 数据报告不全：仅22%的研究公布完整混淆矩阵，阻碍元分析和替代指标计算；
• 其他缺陷：忽略成本效益分析、排除无法分类的文献、未防范数据泄露、缺乏非LLM基线对比等。

2. 关键解决方案

• 推荐核心指标：优先使用召回率/证据丢失率、马修斯相关系数（MCC，对不平衡数据稳健），并提出加权MCC（WMCC）以兼顾类别不平衡与FN/FP成本差异；
• 规范报告要求：公布完整混淆矩阵、指标变异性（置信区间等）、LLM输出一致性及无效结果；
• 优化研究设计：采用前瞻性研究避免数据泄露，纳入随机