本文是LLM系列文章,针对《Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models》的翻译。
摘要
我们研究如何应用大型语言模型从头开始撰写有基础、有组织的长篇文章,其广度和深度与维基百科页面相当。这个未被充分探索的问题在写作前阶段提出了新的挑战,包括如何研究主题并在写作前准备提纲。我们提出了STORM,一个通过检索和多视角提问综合主题提纲的写作系统。STORM通过以下方式对写作前阶段进行建模:(1)在研究给定主题时发现不同的视角;(2)模拟对话,在对话中,持不同视角的作者向基于可信互联网来源的主题专家提出问题;(3)整理收集的信息以创建提纲。
为了进行评估,我们策划了FreshWiki,这是一个最近高质量维基百科文章的数据集,并制定了大纲评估来评估写作前阶段。我们进一步收集经验丰富的维基百科编辑的反馈。与outline-driven检索增强基线生成的文章相比,STORM的更多文章被认为是有组织的(绝对增加了25%),覆盖范围广(增加了10%)。专家反馈也有助于识别生成有根据的长篇文章的新挑战,如来源偏见转移和无关事实的过度关联。