In-Context Retrieval-Augmented Language Models

本文是LLM系列文章，针对《In-Context Retrieval-Augmented Language Models》的翻译。

摘要

检索增强语言建模（RALM）方法在生成过程中对基础语料库中的相关文档设置语言模型（LM），可以显著提高语言建模性能。此外，它们可以缓解事实上不准确的文本生成问题，并提供自然的来源归因机制。现有的RALM方法侧重于修改LM体系结构，以促进外部信息的合并，从而使部署显著复杂化。本文考虑了一个简单的替代方案，我们称之为上下文RALM：保持LM架构不变，并为输入准备基础文档，而不需要对LM进行任何进一步的训练。我们发现，建立在现成的通用检索器上的上下文RALM在模型大小和不同的语料库中提供了惊人的大LM增益。我们还证明了文档检索和排序机制可以专门用于RALM设置，以进一步提高性能。我们得出的结论是，In-Context RALM在增加LM基准的流行率方面具有相当大的潜力，特别是在必须在不修改甚至通过API访问的情况下使用预训练的LM的情况下。

1 引言

2 相关工作

3 我们的框架

4 实验细节

5 具有现成检索器的上下文RALM的有效性

6 用面向LM的重新排序改进上下文RALM

7 用于开放域问答的上下文RALM

8 讨论

从外部来源检索已成为知识密集型任务中的一种常见做法（如事实问答、事实核查等）。与此同时，LM生成