本文介绍了一个名为ALCE的新基准，旨在评估大型语言模型（LLM）生成带引用文本的能力。研究发现，虽然LLM在生成流畅文本方面表现出色，但在正确性和引用质量上仍有待提高。ALCE提供了自动和人类评估方法，揭示了未来改进LLM检索、长上下文理解和多源信息整合等方向的研究潜力。
本文是LLM系列的文章，针对《Enabling Large Language Models to Generate Text with Citations》的翻译。
摘要
大型语言模型（LLM）已成为一种广泛使用的信息搜索工具，但其生成的输出容易产生幻觉。在这项工作中，我们的目标是使LLM能够生成带有引用的文本，提高其事实的正确性和可验证性。现有的工作主要依赖于商业搜索引擎和人类评估，这使得复制和比较不同的建模方法具有挑战性。我们提出了ALCE，这是LLM自动引文评估的第一个基准。ALCE收集了一组不同的问题和检索语料库，需要建立端到端的系统来检索支持证据并生成带有引文的答案。我们建立了三个维度的自动指标——流利性、正确性和引用质量——并证明了它们与人类判断的强烈相关性。我们用最先进的LLM和新颖的提示策略进行的实验表明，当前的系统有相当大的改进空间——例如，在ELI5数据集上，即使是最好的模型，其49%的生成都缺乏完整的引用支持。我们的广泛分析进一步突出了有前景的未来方向，包括开发更好的检索器，推进长上下文LLM，以及提高综合来自多个来源的信息的能力。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
