大模型RAG从入门到精通（三）融合检索解析、重排序的工作原理

最新推荐文章于 2025-06-17 11:43:36 发布

大模型面微调_

最新推荐文章于 2025-06-17 11:43:36 发布

阅读量745

点赞数 23

CC 4.0 BY-SA版权

文章标签：自然语言处理 agi 大模型 LLM ai RAG

本文链接：https://blog.youkuaiyun.com/Code1994/article/details/147825353

简要回顾一下基本 RAG 方案。
Basic RAG scheme

一、融合检索解析

融合检索方法涉及在检索增强生成（RAG）系统的检索阶段中融合或聚合多个信息流。回顾一下，在检索阶段，检索器——一个信息检索引擎——接收用户对大型语言模型（LLM）的原始查询，将其编码为向量数值表示，并用它在庞大的知识库中搜索与查询强烈匹配的文档。之后，通过添加来自检索到的文档的结果上下文信息来增强原始查询，最后将增强后的输入发送给LLM以生成响应。

通过在检索阶段应用融合方案，可以在原始查询的基础上添加更加连贯和上下文相关的背景信息，从而进一步改善由LLM生成的最终响应。融合检索利用从多个提取文档（搜索结果）中获取的知识，并将其组合成更有意义和准确的上下文。然而，我们已经熟悉的经典RAG方案也可以从知识库中检索多个文档，而不仅仅是单一文档。那么这两种方法之间有什么区别呢？

经典RAG与融合检索之间的关键区别在于如何处理和整合检索到的多个文档以形成最终响应。在经典的RAG中，检索到的文档内容只是简单地串联起来，或者最多是抽取式摘要，然后作为额外的上下文输入LLM以生成响应，不涉及高级融合技术的应用。而在融合检索中，则使用更专业的机制来跨多个文档组合相关信息。这种融合过程可以发生在增强阶段（检索阶段）或甚至是在生成阶段。

增强阶段中的融合

包括在将多个文档传递给生成器之前应用重新排序、过滤或合并的技术。两个例子是重排序和聚合：重排序指的是根据相关性对文档进行评分和排序后再与用户提示一起输入模型；聚合则是将每个文档中最相关的部分合并成一个单独的上下文。聚合通过经典的信息检索方法实现，如TF-IDF（词频-逆文档频率）、嵌入操作等。
生成阶段中的融合

涉及到LLM（生成器）独立处理每一个检索到的文档——包括用户提示——并在生成最终响应时融合数个处理任务的信息。广义上讲，RAG中的增强阶段成为了生成阶段的一部分。这一类别中的一种常见方法是解码器中的融合（FiD），它允许LLM分别处理每个检索到的文档，然后在生成最终响应时结合它们的见解。

重排序是一种最简单但有效的融合方法，能够有意义地结合来自多个检索来源的信息。接下来的部分简要解释了它是如何工作的。

二、重排序的工作原理

在重排序过程中，检索器获取的初始文档集会被重新排序，以提高与用户查询的相关性，从而更好地满足用户需求并提升整体输出质量。检索器将获取的文档传递给一个称为“排序器”的算法组件，该组件根据诸如学习到的用户偏好等标准重新评估检索结果，并对文档进行排序，目的是最大化呈现给特定用户的结果相关性。诸如加权平均或其他形式的评分机制被用来组合和优先排列排名最高的文档，使得排名靠前的文档内容比排名较低的文档内容更有可能成为最终合并上下文的一部分。

下图展示了重排序机制的工作原理：

The reranking process

为了更好地理解重排序，我们以东亚旅游为背景描述一个例子。想象一位旅行者向一个RAG系统查询“亚洲自然爱好者最佳目的地”。初始检索系统可能会返回一系列文档，包括通用的旅行指南、关于亚洲热门城市的文章，以及对自然公园的推荐。然而，一个重排序模型可以利用额外的旅行者特定偏好和上下文数据（例如偏好的活动、之前喜欢的活动或去过的目的地）对这些文档重新排序，从而优先展示对该用户最相关的内容。它可能会突出一些宁静的国家公园、鲜为人知的徒步小径以及生态友好的旅行路线，而这些可能不会出现在大多数人的推荐列表前列。通过这种方式，它为像目标用户这样的自然爱好者游客提供了“直击要点”的结果。

总之，重排序基于额外的用户相关性标准重新组织多个检索到的文档，集中关注排名靠前的文档内容提取过程，从而提高后续生成响应的相关性。