LongRAG：利用长上下文大语言模型提升检索生成效果

目录

一、前言

二、LongRAG

三、实现原理

3.1、LongRAG 的三大核心组件

3.2、Long Retriever: 粗粒度召回，化解检索压力

3.3、Long Reader: 深度理解，精准提取答案

四、检索结果

五、问答结果

六、未来展望

七、总结

---

一、前言

前面我们已经介绍了多种检索增强生成 (RAG) 技术，基本上在保证数据质量的前提下，检索增强生成（RAG）技术能够有效提高检索效率和质量，相对于大模型微调技术，其最大的短板还是在于有限的上下文窗口限制。因为传统的 RAG 框架普遍依赖"短检索单元"，这一局限性严重制约了模型的性能表现。

传统的短检索单元就像在浩瀚的图书馆中只能借阅残缺的书页，难以获取完整信息。这种局限性给精准高效的答案提取带来了两大挑战：

1）检索器需在海量数据中精确定位包含答案的段落，犹如大海捞针。这不仅加重了检索器的负担，还需要复杂的重排序机制来筛选有用信息，极大地降低了系统效率。

2）受输入长度限制，传统方法只能截取文档部分内容，导致信息丢失和语义不完整。这种"盲人摸象"式的信息获取方式严重影响了答案的准确性和全面性。

幸运的是，长上下文大语言模型（LLM）的蓬勃发展为打破这一瓶颈带来了新的希望。在此背景下，LongRAG 应运而生。它突破了"短检索单元"的限制，赋予阅读器处理超长文本的能力，实现了对"整本书"信息的全面把握。这种创新设计不仅减轻了检索器的负担，还有效避免了信息丢失，从根本上提升了答案的召回率和准确性。

接下来，我们将深入探讨 LongRAG 框架的具体设计和实现细节，并分析其在开放域问答任务中所展现的巨大潜力。通过这种新型框架，我们有望在信息检索和知识生成领域开辟新的前景。

二、LongRAG

为了克服传统 RAG 框架的局限性，最近来自滑铁卢大学的研究团队 Ziyan Jiang、Xueguang Ma 和 Wenhu Chen 在他们的论文《LongRAG: Enhancing Retrieval-Augmented Generation with Long-context LLMs》[1]中提出了一个创新的框架——LongRAG。其核心目标是利用长上下文大语言模型 (LLM) 增强开放域问答任务中的检索增强生成。LongRAG 的设计理念是平衡检索器和“答案生成器”之间的工作量，提高答案召回率，并减轻检索器的负担。

具体来说，LongRAG 主要包含以下几个关键创新点:

• 长检索单元: 不同于传统的短检索单元，LongRAG 将维基百科等知识库处理成更长的语义单元， 比如整篇文章甚至多篇文章， 从而提供更完整的信息， 避免信息片段化带来的理解偏差。
• 长检索器: LongRAG 使用能够处理长文本输入的检索器， 从预处理后的知识库中检索与问题相关的长检索单元， 减轻了传统检索器需要精准定位答案片段的压力。
• 长答案生成器: LongRAG 利用强大的长上下文 LLM 作为“答案生成器”， 使其能够 "阅读" 由长检索单元提供的完整信息， 并生成更准确、 更全面的答案。

为了进一步优化答案提取过程， LongRAG 采用了两轮方法：

• 第一轮: 将长检索上下文和问题连接起来作为输入， 让长“答案生成器”生成一个初步的、 可能比较冗长的答案。
• 第二轮: 使用少量的上下文示例 (例如8个) 来引导长“答案生成器”从第一轮生成的答案中提取最重要的部分， 最终得到简洁准确的答案。

通过长检索单元、 长检索器和长“答案生成器”的协同工作， LongRAG 实现了高效的答案提取， 并在实验中取得了显著的性能提升， 无需依赖复杂的重排序机制。 LongRAG 的提出证明了将 RAG 与长上下文 LLM 相结合的巨大潜力， 为开放域问答系统的发展提供了一种新的思路。

传统的 RAG 在短检索单元上运行，检索器需要扫描大量的单元才能找到相关的部分。相比之下，LongRAG 在长检索单元（长 30 倍）上运行。检索器的负载要少得多，这显著提高了召回率。LongRAG 充分利用长上下文语言模型（阅读器）的能力来实现强大的性能。

三、实现原理

LongRAG 是一种全新的检索增强生成框架，重点解决传统RAG框架中检索器和阅读器之间工作负载不平衡的问题。传统RAG框架通常使用短文本作为检索单元，例如100字左右的段落，这使得检索器需要在庞大的语料库中寻找“针尖”（即包含答案的确切短文本单元）。相反，阅读器只需从检索到的短文本单元中提取答案，工作量相对较轻。这种“重”检索器和“轻”阅读器的不平衡设计会导致性能欠佳。

为了缓解这种不平衡，LongRAG提出了“长检索器”和“长阅读器”的概念，并围绕着4K词的检索单元进行