Iterative Research Idea Generation over Scientific Literature with Large Language Models

本文是LLM系列文章，针对《ResearchAgent: Iterative Research Idea Generation over Scientific Literature with Large Language Models》的翻译。

摘要

科学研究对改善人类生活至关重要，但因其固有的复杂性、缓慢的步伐和对专业专家的需求而受到阻碍。为了提高其生产力，我们提出了一种ResearchAgent，这是一种大型语言模型驱动的研究想法写作代理，它可以自动生成问题、方法和实验设计，同时根据科学文献迭代地对其进行改进。具体来说，从核心论文作为产生想法的主要焦点开始，我们的ResearchAgent不仅通过在学术图上连接信息来增强相关出版物，还根据其基础概念从以实体为中心的知识库中检索到的实体，在众多论文中挖掘和共享。此外，我们利用多个ReviewingAgent迭代地提供评论和反馈，以模仿人类通过同行讨论迭代改进想法的方法。此外，它们用人类偏好对齐的大型语言模型实例化，其评估标准来自实际的人类判断。我们在多个学科的科学出版物上实验验证了我们的ResearchAgent，展示了它在基于人类和基于模型的评估结果生成新颖、清晰和有效的研究思路方面的有效性。

1 引言

2 相关工作

3 方法

4 实验设置

5 实验结果和分析

6 结论

在这项工作中，我们提出了ResearchAgent——一个旨在通过自动生成研究思路来加速科学研究的系统，该系统涉及问题识别、方法开发和实验设计的顺序步骤。在我们的系统中，我们通过利用引文图上的论文关系以及从众多论文中提取和汇总的相关实体，增强了LLM的有效科学思想生成能力。此外，