Lost in the Middle: How Language Models Use Long Contexts

本文是LLM系列文章，针对《Lost in the Middle: How Language Models Use Long Contexts》的翻译。

摘要

虽然最近的语言模型能够将长上下文作为输入，但人们对它们使用长上下文的情况知之甚少。我们分析了语言模型在两项任务中的性能，这两项任务需要在输入上下文中识别相关信息：多文档问答和键值检索。我们发现，当相关信息出现在输入上下文的开头或结尾时，性能通常最高，而当模型必须在长上下文的中间访问相关信息时，性能会显著降低。此外，即使对于显式长上下文模型，性能也会随着输入上下文的增长而显著降低。我们的分析提供了对语言模型如何使用其输入上下文的更好理解，并为未来的长上下文模型提供了新的评估协议。

1 引言

2 语言模型

3 多文档问答

4 语言模型如何从输入上下文中检索？

5 为什么语言模型很难使用它们的整个输入上下文？

6 更多的背景总是更好吗？开放领域QA案例研究

7 相关工作

8 结论

我们通过一系列对照实验，实证研究了语言模型如何使用长输入上下文，这两项任务需要在上下文中识别和使用相关信息：多文档问答和键值检索。我们发现，语言模型通常很难在长输入上下文中使用信息，并且随着