SurveyGen: Quality-Aware Scientific Survey Generation with Large Language Models

SurveyGen相关内容总结与翻译

一、文章主要内容总结

（一）研究背景

在科学文献处理领域，自动综述生成是一项关键任务。大型语言模型（LLMs）虽在生成综述文本方面展现出潜力，但由于缺乏标准化的评估数据集，难以对其生成的综述与人类撰写的综述进行严谨的性能评估。同时，现有基于检索增强生成（RAG）技术的自动综述生成方法存在两大不足：一是无法有效检索高质量文献，二是缺乏与人类撰写的黄金标准综述的严格对比评估。

（二）核心资源：SurveyGen数据集

1. 数据规模与来源：基于Semantic Scholar Open Research Corpus（S2ORC）构建，包含超过4200篇来自不同科学领域的人类撰写综述，以及242143条引用参考文献，还涵盖这些综述和被引论文的大量质量相关元数据。
2. 构建过程：先通过标题筛选出2010年后发表且含特定综述相关关键词的候选论文，再利用LLMs基于摘要进一步筛选出符合三个标准（明确声明综述意图、聚焦综述而非提出新方法或实验结果、讨论领域趋势等）的综述文章，最后剔除引用文献少于30篇或顶级章节少于3个的短文，得到最终数据集。
3. 质量相关指标补充：从OpenAlex数据库获取论文的引用表现（引用次数、有影响力的引用次数）、作者影响力（h指数、发表数量、总引用次数）和期刊声誉（h指数、i10指数、CORE状态）等指标，并补充了被引论文所引用