企业级RAG系统实战（2）：为什么向量检索还不够？深入理解 Rerank 与 Query Rewrite

在上一篇文章中，我们讨论了企业级RAG系统的第一步：向量数据库选型与多路召回。

通过向量检索，我们已经可以从知识库中找到一批"语义上接近"的文档，然后把这些文档拼接进 Prompt，交给大模型生成回答。

很多人在做到这里时，会认为 RAG 系统已经基本完成了。但在真实项目中，很快就会发现一个问题：

检索系统能找到"相关文档"，但不一定能找到"真正有用的文档"。

例如用户问：“企业级RAG系统如何做权限控制？”

向量检索返回的内容可能包括：

• RAG系统架构介绍
• 知识库设计
• 向量数据库权限管理
• API鉴权机制

这些内容都"看起来相关"，但只有极少数 chunk 真正回答了用户的问题。

这就是 RAG 系统中非常典型的问题：召回是相关的，但排序是不准确的。

在实际工程中，通常需要两种技术来解决这个问题：

• Rerank（重排序）
• Query Rewrite（查询改写）

这两步往往决定了 RAG 系统的最终效果。

---

一、RAG检索系统的两阶段结构

理解 Rerank 之前，需要先理解一个核心概念：两阶段检索（Two-stage Retrieval）。

RAG 系统通常分为两个阶段：

第一阶段：召回（Recall）

目标：从海量文档中快速找出一批可能相关的候选文档。

这一阶段通常使用：

• 向量检索（Embedding + ANN）
• BM25关键词检索
• Hybrid Search（向量 + 关键词）

第二阶段：精排（Ranking）

目标：在候选文档中找出最可能包含答案的内容。

这一阶段通常使用：

• Rerank模型

因此一个典型的企业级RAG流程是：

User Query ↓Query Rewrite ↓Recall（向量检索 / Hybrid Search） ↓Rerank ↓Context Selection ↓LLM Generation

其中：

• Recall 决定有没有找到相关文档
• Rerank 决定最相关的文档是否排在前面

企业级RAG系统架构流程图

---

二、为什么向量检索本身不够准确

向量检索使用的是 Embedding 相似度搜索。

其核心思想是：语义相似的文本在向量空间中距离更近。

例如：

• Query: 企业RAG系统如何部署

Embedding 模型会寻找：

• “RAG系统部署”
• “大模型应用架构”
• “AI系统部署流程”

这些语义相近的内容。

但这里存在三个问题。

向量检索三大问题

1. 语义相似不等于答案相关

很多文档在主题上相关，但并不包含答案。

例如：

• 用户问：RAG系统如何做权限控制
• 检索到：RAG系统架构介绍

语义上相关，但并没有回答权限控制问题。

2. 向量空间压缩了信息

Embedding 模型将文本压缩为一个固定维度向量。

例如：768维向量

在压缩过程中：

• 数值信息
• 关键词
• 局部约束

都会被弱化。

这导致：

• Embedding 更擅长"主题匹配"，而不是"答案匹配"。

3. chunk 切分会打散上下文

RAG 系统通常会对文档进行 chunk 切分，例如：

• 500 tokens / chunk

这意味着： 一个 chunk 可能：

• 提到了问题主题
• 但没有包含完整答案

因此：很多检索结果只是部分相关。

这也是为什么 RAG 系统需要 Rerank。

---

三、什么是 Rerank

Rerank（重排序）指的是：对召回阶段得到的候选文档重新打分，并重新排序。

其核心目标是：从"语义相关"筛选出"真正可用的文档"。

流程通常是：

User Query ↓向量检索 ↓Top-K 文档 ↓Rerank 模型评分 ↓Top-N 文档 ↓送入 LLM

Rerank重排序流程

简单理解：

• 向量检索负责找候选
• Rerank 负责选答案

---

四、Bi-encoder 与 Cross-encoder Rerank 的核心差异

Bi-encoder与Cross-encoder对比

Rerank 的核心差异在于模型结构。

向量检索使用的是：Bi-encoder

query → embeddingdoc → embeddingcosine similarity

优点：

• 速度快
• 可扩展到百万文档

缺点：

• query 与 document 编码时互不影响
• 交互信息有限

Rerank 使用的是： Cross-encoder

(query + document) → model → relevance score

也就是说：模型会同时看到 query 和 document。

这样就能学习：

• 关键词匹配
• 句子关系
• 语义细节

因此排序更准确。

缺点是：计算成本高。

所以它通常只用于：Top-K 文档排序。

---

五、Query Rewrite：为什么需要改写 Query

除了排序问题，RAG系统还会遇到另一个问题：

用户 Query 本身不适合检索。

例如：

• RAG 怎么做？

这个问题：

• 太短
• 信息不足
• 没有约束条件

向量检索很难找到真正有价值的文档。

这时就需要：Query Rewrite。

其目标是：将用户问题转换为更适合检索的表达形式。

---

六、Query Rewrite 的四种常见形式

Query Rewrite四种形式

在实际系统中，Query Rewrite 不只是"把句子写长"。

它通常包括四种不同任务。

1. 查询补全（Query Expansion）

适用于：问题过短。

例如：

• 原始问题：RAG怎么做
• 改写：如何构建一个RAG系统，包括文档切分、向量数据库、检索流程和大模型调用

2. 查询消歧（Disambiguation）

适用于：术语存在歧义。

例如：

• agent memory 怎么实现

memory 可能指：

• 对话历史
• 长期记忆
• 向量记忆库

Rewrite 可以明确语义。

3. 查询分解（Query Decomposition）

适用于：复杂问题。

例如：

• 如何降低RAG幻觉并控制成本？

可以拆成：

• 如何降低RAG幻觉
• 如何降低RAG成本

分别检索。

4. 查询结构化（Structured Query）

适用于：知识库结构清晰。

例如：

• 将自然语言转换为：

• product=RAG
• version>=2.0
• topic=deployment

这种方式在企业系统中非常常见。

---

七、什么时候需要 Rewrite

Rewrite 并不是总有收益。

经验上：

适合 Rewrite 的情况：

• Query 太短
• Query 有歧义
• Query 口语化
• Query 包含复杂约束

不适合 Rewrite 的情况：

• Query 已经明确
• Query 包含精确关键词
• 对延迟要求极高

因此 Rewrite 通常是：条件触发。

---

八、如何评估 Rerank 与 Rewrite

在真实系统中，需要建立评估指标。

常见指标包括：

检索指标：

• Recall@K
• MRR
• NDCG

上下文指标：

• Evidence Coverage
• Context Redundancy

生成指标：

• Answer Correctness
• Faithfulness
• Hallucination Rate

一个常见误区是：

• Rerank 指标提升了，但最终回答并没有变好。

因此评估必须同时关注：

• 检索质量 + 生成质量

---

九、真实系统中的常见坑

在真实项目中，经常会遇到一些问题。

例如：

Rerank 提升精度，但延迟增加。

Cross-encoder 对 Top-50 文档排序时可能非常慢。

解决方案通常是：

• 降低 Top-K
• 使用轻量模型
• 批处理推理

另一个问题是：Rewrite 改写错误。

例如：

• LLM 可能错误理解用户意图，导致检索偏离。

因此 Rewrite 系统通常需要：

• Prompt约束
• 日志监控
• 质量评估

---

十、小结

在企业级RAG系统中：

• 向量检索负责召回候选文档
• Rerank 负责精准排序
• Query Rewrite 负责优化检索表达

三者组合，构成完整的检索链路：

Query ↓Rewrite ↓Recall ↓Rerank ↓Context ↓LLM

理解这一点之后，你的 RAG 系统才真正具备了工程级可用性。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

👇👇扫码免费领取全部内容👇👇

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

4. 2026行业报告

行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

6. 大模型面试题

面试不仅是技术的较量，更需要充分的准备。

在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

7. 资料领取：全套内容免费抱走，学 AI 不用再找第二份

不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：

👇👇扫码免费领取全部内容👇👇