RETRIEVAL MEETS LONG CONTEXT LARGE LANGUAGE MODELS

本文是LLM系列文章，针对《RETRIEVAL MEETS LONG CONTEXT LARGE LANGUAGE MODELS》的翻译。

摘要

扩展大型语言模型（LLM）的上下文窗口最近越来越流行，而通过检索来增强LLM的解决方案已经存在多年。自然的问题是：i）检索增强与长上下文窗口，哪一个更适合下游任务？ii）能否将这两种方法结合起来，实现两全其美？在这项工作中，我们通过使用两种最先进的预训练LLM研究这两种解决方案来回答这些问题，即专有的43B GPT和LLaMA2-70B。也许令人惊讶的是，我们发现具有4K上下文窗口的LLM在生成时使用简单的检索增强，可以在长上下文任务上通过位置插值实现与具有16K上下文窗口的微调LLM相当的性能，同时需要更少的计算。更重要的是，我们证明了无论LLM的扩展上下文窗口大小如何，检索都可以显著提高LLM的性能。我们的最佳模型，具有32K上下文窗口的检索增强LLaMA2-70B，在七项长上下文任务（包括问答和基于查询的摘要）的平均得分方面优于GPT-3.5-turbo-16k和Davinci003。它也在一定程度上优于其非检索LLaMA2-70B-32k基线，同时在生成方面要快得多。我们的研究为从业者提供了关于LLM的检索增强与长上下文扩展的选择的一般见解。

1 引言

2 相关工作

3 实验设置

4 结果

5 结论

在这项工作中，我们系统地研究了在对各种长上下文QA和基于查询的摘要任务进行指令调整后，使用最先进的LLM进行检索增强与长上下文扩展的对比。经过研究，我们得到了以下有趣的发现：i）检索在很大程度上提高了4