在一个典型 RAG 流程中:

很多 Demo 系统会省略中间这一步:
直接把 Top-K 丢给模型
看起来能跑,但一旦进入真实场景,很快就会出现:
- 命中了,但排在后面
- 噪声太多,污染上下文
- 模型“理解错重点”
本质问题是:
检索解决“有没有”,但不保证“谁最重要”
一、Rerank 在做什么?
一句话定义:
Rerank = 基于 Query,对候选文档进行“精排”
更具体一点:
- 输入:
- Query
- Top-K 文档(例如 20 条)
- 输出:
- 更准确排序后的 Top
- N(例如 5 条)
关键变化:
从“粗筛” → “精排”
二、为什么检索排序不够?
很多人会问:
向量相似度不是已经排序了吗?
答案是:
那只是“粗排序”
原因有三个:
1. Embedding 只能表达“整体相似”
它看的是:
- 句子整体语义
- 而不是 Query 与文档的逐词关系
举个例子:
Query: “报销流程”文档
A: “费用审批制度”文档
B: “报销流程详细步骤”
向量相似度可能:
- A ≈ B(甚至 A 更高)
但真实答案:
- B 明显更相关
2. 无法处理“局部匹配”
Embedding 是“整体压缩”:
无法很好处理:
- 关键词匹配
- 结构关系
- 句子重点
3. Top-K 本身包含噪声
在检索阶段:
Top-K = 20
实际情况是:
- 真正有用的:3~5 条
- 其余:噪声
如果不做 Rerank:
模型要在“噪声中找答案”
三、Rerank 的核心能力
和 Embedding 最大区别是:
它是“逐对比较”,而不是“向量距离”
四、两种主流模型(一定要搞清楚)

1. Bi-Encoder(Embedding)
Query → 向量
Doc → 向量
→ 计算距离
优点:
- 快(可以预计算)
- 可扩展
缺点:
- 精度有限
2. Cross-Encoder(Rerank)
[Query + Doc] → 模型 → 打分
特点:
- Query 和 Doc 一起输入
- 模型可以“逐词对齐”
优点:
- 精度极高
缺点:
- 慢
- 成本高
五、一个直观对比(非常关键)
Embedding:→ “这两段话整体像不像?”
Rerank:→ “这段话,是不是在回答这个问题?”
这就是本质差异。
六、没有 Rerank 会发生什么?

常见问题:
1. 相关内容排后面
模型根本看不到
2. 噪声进入 Prompt
干扰模型判断
3. 答案“差一点”
用户体验很差
典型表现:
“感觉系统差不多对,但总是不够准”
七、Rerank 怎么接入?(工程落地)

标准流程:
Step1: 检索 Top-K(20~50)
Step2: Rerank 打分
Step3: 取 Top-N(3~5)
Step4: 拼接 Prompt
推荐参数:
Top-K: 20~50
Top-N: 3~5
原则:
- K 要大(保证 recall)
- N 要小(保证质量)
八、性能问题怎么解决?
很多人卡在这里:
Rerank 太慢怎么办?
解决方案:
1. 限制 K
- 不要无限放大候选集
2. 小模型优先
- 不一定要用大模型
3. 并行计算
- 批量推理(GPU)
九、一个高级优化
分阶段 Rerank
第一层:快速过滤(轻量模型)
第二层:精排(高精度模型)
类似搜索引擎:
- 粗排 → 精排 → 最终排序
十、重要认知
检索决定“有没有答案”,
Rerank 决定“答案排不排在前面”。
学AI大模型的正确顺序,千万不要搞错了
🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!
有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!
就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~
这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

336



被折叠的 条评论
为什么被折叠?



