Enabling Large Language Models to Generate Text with Citations-优快云博客

本文是LLM系列的文章，针对《Enabling Large Language Models to Generate Text with Citations》的翻译。

使大语言模型能够生成带有引用的文本

摘要
1 引言
2 任务设置和数据集
3 自动评估
4 建模
5 实验
6 人类评估
7 相关工作
8 结论
不足

摘要

大型语言模型（LLM）已成为一种广泛使用的信息搜索工具，但其生成的输出容易产生幻觉。在这项工作中，我们的目标是使LLM能够生成带有引用的文本，提高其事实的正确性和可验证性。现有的工作主要依赖于商业搜索引擎和人类评估，这使得复制和比较不同的建模方法具有挑战性。我们提出了ALCE，这是LLM自动引文评估的第一个基准。ALCE收集了一组不同的问题和检索语料库，需要建立端到端的系统来检索支持证据并生成带有引文的答案。我们建立了三个维度的自动指标——流利性、正确性和引用质量——并证明了它们与人类判断的强烈相关性。我们用最先进的LLM和新颖的提示策略进行的实验表明，当前的系统有相当大的改进空间——例如，在ELI5数据集上，即使是最好的模型，其49%的生成都缺乏完整的引用支持。我们的广泛分析进一步突出了有前景的未来方向，包括开发更好的检索器，推进长上下文LLM，以及提高综合来自多个来源的信息的能力。