Can LLMs Identify Critical Limitations within Scientific Research? A Systematic Evaluation

文章主要内容和创新点

主要内容

本文聚焦于大型语言模型（LLMs）在识别科学研究（尤其是AI领域）局限性中的能力，通过构建基准和实验评估，探索其辅助同行评审的潜力。具体包括：

1. 局限性分类法：提出了一个针对科学研究（侧重AI）的局限性分类框架，涵盖方法论、实验设计、结果分析、文献综述4大方面及11个子类型（如数据质量低、基线不足、指标不充分等）。
2. LIMITGEN基准：构建了首个评估LLMs识别局限性能力的综合基准，包括：
   • LIMITGEN-Syn：通过对高质量论文进行可控扰动（如删除实验细节、省略基线对比）生成的合成数据集，用于精准评估模型对特定局限性的识别能力。
   • LIMITGEN-Human：从ICLR 2025提交论文的同行评审中收集的人类编写的局限性，用于验证分类法和合成数据集的有效性。
3. 检索增强生成（RAG）应用：将RAG技术（通过Semantic Scholar API检索相关文献）融入LLMs，提升其识别局限性的准确性和反馈的建设性。
4. 实验评估：对多种LLMs（如GPT-4o、Ll