RAG检索增强之ReRank(重新排序)模型

最新推荐文章于 2025-04-23 16:46:02 发布
最新推荐文章于 2025-04-23 16:46:02 发布
阅读量1.3k 收藏 31
点赞数 31
文章标签： lstm 深度学习 机器学习 人工智能 信息可视化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_58753619/article/details/146586730
版权

了解ReRank模型前先回顾一下RAG的流程

在这里插入图片描述

什么是Rerank模型？

​ Rerank模型是一种用于优化信息检索结果排序的机器学习模型，通过精细化评估文档与查询的相关性，提升最终结果的准确性和语义匹配度。以下是其核心要点：

定义与定位

属于重排序算法，作用于初步检索（如关键词匹配或向量相似度检索）之后，对候选文档进行二次筛选和排序。在RAG（检索增强生成）流程中，与Embedding模型配合使用，形成“粗筛+精排”的协同机制。

核心作用

  • 解决初步检索的局限性：弥补传统检索方法（如倒排索引或Embedding相似度计算）在语义理解深度上的不足。

  • 提升结果质量：通过多维度评估（如语义一致性、上下文关联性）对文档重新打分，确保高相关性的内容优先展示。

工作原理

  • 监督学习训练：基于大量正确与不正确的查询-文档对，模型学习最大化正确对的分数、最小化错误对的分数。

  • 相关性评分：输入查询和文档，直接输出两者的匹配分数，并依此排序。

典型应用场景

  • RAG系统：优化检索文档的排序，提升大模型生成回答的准确性。
  • 搜索引擎/推荐系统：精细化调整结果顺序，增强用户满意度。

排序的关键维度

语义相关性

# 用户问题："糖尿病患者的饮食禁忌有哪些？"
候选文档1：详细列举12种糖尿病饮食禁忌（相关度高）
候选文档2：讲解胰岛素注射方法（相关度低）

时效性权重

文档A：2023年《中国糖尿病防治指南》（权重+20%）
文档B：2010年某医院内部资料（权重-30%）

多样性控制

避免返回3篇都讲"糖分控制"的文章
保留1篇"运动管理"的补充内容

排序面临的挑战

img

长尾问题

用户提问：“如何训练导盲犬AI机器人？” 检索结果： 前10篇：通用机器人训练方法（未命中）           仅1篇：《基于多模态感知的导盲犬机器人训练指南》（命中但排名靠后）

解决策略：

数据增强：合成"导盲犬+机器人"的伪数据微调模型混合检索：结合关键词（“导盲犬”+“AI”）与语义检索主动学习：标注低置信度结果，迭代优化模型

语义鸿沟

用户问:“手机发热严重怎么降温?检索结果：《移动设备SoC功耗管理与散热优化方案》（语义相关)         《智能手机电池保养技巧》（字面相关但非核心）

解决策略：

1. 查询扩展：用LLM生成同义表述（如"发热"→"散热"、“降温"→"温度控制”） 2. 上下文增强：提取文档中"发热"相关段落提升权重 3. 用户反馈：记录用户最终点击的文档，反向优化模型

多语言混合

中文提问：“量子纠缠的实际应用有哪些？检索结果： 中文文档：《里子通信技术白皮书》（匹配度一般）          英文论文：《Quantum Entanglement inCommercial Systems》(Nature 2023,高相关)

解决策略：

1. 实时翻译对齐：将英文论文摘要翻译后参与排序 2. 跨语言模型：使用mBERT等模型直接计算中英文相似度 3. 多语言标签：为文档添加语言/领域元数据辅助过滤

计算效率

数据规模：100万篇医疗文献库查询需求：实时返回"阿尔茨海默症新药研发进展"Top5结果（<500ms）

解决策略：

1. 两阶段排序：     第一阶段：BM25快速筛选1000篇（耗时50ms）     第二阶段：Reranker精排Top100（耗时400ms）   2. 模型蒸馏：将BERT-large蒸馏为Tiny版，速度提升5倍 3. 硬件加速：使用TensorRT部署模型，GPU推理吞吐量提升10倍

主流模型选型

模型特点性能优势
BGE ReRanker支持多语言多语言场景、高精度需求
Jina Reranker8k上下文支持长文本排序、低延迟场景
BCE-Reranker网易有道开源，中英跨语言优化中英混合场景、高召回率需求

完整排序流程示例

用户问题：“美联储加息对A股的影响”

  1. 初步检索（Retriever）：
返回50篇文档：
- 10篇关于美国货币政策
- 15篇A股市场分析
- 20篇历史加息案例
- 5篇无关内容
  1. Reranker工作流：
for 文档in50篇:
    计算语义相关性（BERT模型）→得分0.6-0.95
    叠加时效性权重（2023年文档×1.2）
    扣除低权威惩罚（自媒体文章×0.7）
    最终得分=语义分×时效权重×权威系数

排序后Top3：
1.《2023年美联储政策与新兴市场联动分析》（0.94）
2.《跨境资本流动对A股的影响机制》（0.91）
3. 《历史六轮加息周期中的板块表现》（0.89）

Reranker本质

​ Reranker是知识库的"智能质检员"，假设你在图书馆找书，先用关键词检索到100本书，但需要找出最相关的3本才行。

​ 图书管理员（Reranker）会综合评估书籍内容、出版时间、作者权威性等维度进行二次筛选。

​ 将检索到的候选文档（如100条）按照与问题的相关度重新排序，把最匹配的结果提升到Top位置。

Reranker模型是RAG系统中的智能排序引擎， 在知识库检索流程中承担着关键的优化角色。它通过多维度智能分析，对初步检索结果进行精细化处理，将最符合用户真实需求的信息精准呈现在前列。

不同于初检阶段的粗粒度筛选，Reranker会综合评估语义相关度（如问题与内容的深层匹配）、时效性（优先最新资料）、权威性（区分专家论述与普通观点）以及内容完整性（覆盖关键要素的程度）等多个核心维度，通过算法加权计算出每个结果的最终排序得分。

在企业级应用中， 这种智能排序机制有效解决了传统检索中面临的长尾问题、语义鸿沟等挑战，大幅提升了知识库的可用性和准确性，是确保专业用户获得高价值信息的关键技术保障。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

dify部署RERANK模型
swj868的博客
04-10 2951
此处模型名称和模型UID相同，我们的xinference是在docker容器内的，所以，服务器URL是：http://host.docker.internal:9997。3.浏览器输入：http://localhost:9997 即可访问。先创建一个xinference用于保存Xinference。xinference会自动配置RERANK。5.dify配置RERANK模型。4.下载RERANK模型。
RAG系列04：使用ReRank进行重排序
强化学习曾小健
05-06 2399
如上图所示，重排任务就像一个智能过滤器。当检索器从索引库中检索到多个上下文时，这些上下文与用户查询的相关性各不相同。有些可能非常相关（如图中红框所示），而另一些可能只是轻微相关甚至不相关（如图中的绿框和蓝框所示）。重排的任务就是评估这些上下文的相关性，优先考虑那些最有可能提供准确和相关信息的内容。这样，LLM 在生成答案时可以优先考虑这些排名靠前的上下文，从而提高回应的准确性和质量。换句话说，重排就像在开卷考试中，帮你从一堆学习资料中挑选出最相关的参考资料，以便你能更高效、更准确地回答问题。
Ubantu22系统利用Xinference+RAGFLOW部署rerank模型【教程】
weixin_47782004的博客
12-21 4463
总结来说，前台启动的程序会直接与当前终端交互，并且在终端关闭时可能会停止运行；而后台启动的程序则可以在关闭终端后继续运行，并且通常会将输出记录到指定的日志文件中。前台启动和后台启动的主要区别在于程序运行的方式以及它们与终端会话的关系。【设置->模型提供商->选择Xinference->添加模型】我这里利用xinference下载的是rerank模型。如果有输出版本号就说明安装了，没有的话，安装参考博客。此时还需要在xinference虚拟环境中。大家根据自己的情况填写URL，基本上根据。
【搜索排序】(ReRank)A Deep Look into Neural Ranking Models for Information Retrieval
weixin_40485502的博客
05-09 1374
文章目录数据集3. 同一框架4. 模型结构-对称与非对称对称结构：s,t可互换siamese networksSymmetric interaction networks,非对称结构query splitdocument splitJoint split,one-way attention mechanism基于表示的模型和基于交互的模型representation-focused architectureinteraction-focused architecturenon-parametric inte
使用大模型检索增强 Rerank 模型，检索效果提升太明显了！
2201_75499313的博客
01-28 6510
RAG 是一种结合了信息检索和文本生成的语言模型技术。简单来说，当你向大语言模型（LLM）提出一个问题时，RAG 首先会在一个大型的文档集合中寻找相关信息，然后再基于这些信息生成回答。Rerank 的工作就像是一个智能的筛选器，当 RAG 从文档集合中检索到多个文档时，这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切，而有些则可能只是稍微相关或者甚至是不相关的。这时，Rerank 的任务就是评估这些文档的相关性，然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。
用通俗易懂的方式讲解：大模型 Rerank 模型部署及使用技巧总结
热门推荐
2301_78285120的博客
03-12 1万+
RAG 是一种结合了信息检索和文本生成的语言模型技术。简单来说，当你向大语言模型（LLM）提出一个问题时，RAG 首先会在一个大型的文档集合中寻找相关信息，然后再基于这些信息生成回答。Rerank 的工作就像是一个智能的筛选器，当 RAG 从文档集合中检索到多个文档时，这些文档可能与你的问题相关度各不相同。有些文档可能非常贴切，而有些则可能只是稍微相关或者甚至是不相关的。这时，Rerank 的任务就是评估这些文档的相关性，然后对它们进行重新排序。它会把那些最有可能提供准确、相关回答的文档排在前面。
【RAG实践】Rerank，让大模型 RAG 更近一步
2301_78285120的博客
04-09 4480
近几年, 随着深度学习的发展，尤其是预训练语言模型的出现极大的推动了文本表示技术的效果, 基于预训练语言模型的文本表示模型在学术研究数据、工业实际应用中都明显优于传统的基于统计模型或者浅层神经网络的文本表示模型。本文主要关注在Rerank，本文中，Rerank可以在不牺牲准确性的情况下加速LLM的查询（实际上可能提高准确率），Rerank通过从上下文中删除不相关的节点，重新排序相关节点来实现这一点。加载数据后，基于文档对象列表（或节点列表），建设他们的index，就可以方便的检索他们。
RAG检索增强之Reranker重排序模型详解！
xx_nm98的博客
03-09 3771
ReRanker模型是对RAG检索返回的结果进行重新排序的模型。也就是下图所示中2nd Retrieval的模型。具体来说，ReRanker模型在RAG Pipeline中扮演着第二阶段的角色，即在初始检索步骤之后，对检索出的文档块chunks进行重新排序，以确保相关的文档块优先被传递给LLM进行处理。
RAG优化：python从零实现检索后重排序Rerank增强
AI人工智能的学习之路
03-22 649
重排序是RAG系统的「质检员」和「调音师」—— 既剔除噪音，又校准信号，让生成结果从「能用」升级为「好用」。无论是基于LLM的重排序还是基于关键词的重排序，都能在一定程度上提升系统的表现。当然，如果初始检索已经完美，重排序可能只是锦上添花，但现实世界的数据嘛…你懂的 😏，本文利用python实现了一个完整的RAG管道，并展示了如何通过重排序技术提高检索质量。以提高RAG系统中的检索质量。重排序作为初始检索后的第二道过滤步骤，确保使用最相关的内容生成响应。
什么是 RAG 中的 Rerank？具体需要怎么做
最新发布
篱笆院的狗的博客
04-23 656
RAG 中的 Rerank 是提升检索增强生成系统性能的关键步骤。通过重新排序初步检索的结果，Rerank 可以提高生成内容的相关性和质量，减少幻觉，并优化资源利用。实现 Rerank 需要结合特征提取、排序模型训练和重新排序等步骤，并根据具体应用场景选择合适的技术方法。是指在初步检索出相关文档或文本片段后，利用专门的模型或算法对这些结果进行重新排序，以提升最终生成内容的质量和相关性。其核心目标是通过优化检索结果的排序，使最相关、最可靠的信息优先被用于生成回答，从而减少不相关或低质量内容对生成结果的干扰。
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
丨汀、的博客
11-01 4245
智能问答进阶之路：RAG(大模型检索增强生成)框架详解与实战，融合检索与生成助力智能系统更上层楼
检索增强生成（RAG）-重新排序方法
HJ_blog
02-25 1716
如图 1 所示，重新排序的任务就像一个智能过滤器。当检索器从索引集合中检索出多个上下文时，这些上下文可能与用户的查询具有不同的相关性。有些上下文可能非常相关（图 1 中红色方框中突出显示的内容），而其他上下文可能只是略有相关甚至不相关（图 1 中绿色和蓝色方框中突出显示的内容）。重新排序的任务是评估这些上下文的相关性，并优先选择最有可能提供准确和相关答案的上下文。这样，LLM 就能在生成答案时优先考虑这些排名靠前的上下文，从而提高答案的准确性和质量。
LLM - 白话Rerank模型
小工匠
03-26 2131
不同于初检阶段的粗粒度筛选，Reranker会综合评估语义相关度（如问题与内容的深层匹配）、时效性（优先最新资料）、权威性（区分专家论述与普通观点）以及内容完整性（覆盖关键要素的程度）等多个核心维度，通过算法加权计算出每个结果的最终排序得分。Col-BERT是一种用于高效信息检索的模型，它结合了基于表示和基于交互的检索方法的优点。在企业级应用中， 这种智能排序机制有效解决了传统检索中面临的长尾问题、语义鸿沟等挑战，大幅提升了知识库的可用性和准确性，是确保专业用户获得高价值信息的关键技术保障。
Advanced RAG 04：重排序（Re-ranking）技术探讨
Baihai_IDP的博客
04-20 1983
本文介绍了两种主要的 Re-ranking 方法，并演示了如何将其融入到 RAG 系统中，提高系统性能。分别是：(1) 使用 Re-ranking 模型直接对检索到的文档和 query 之间的相关性进行评分和排序。作者介绍了一些可用的开源和商业 Re-ranking 模型；(2) 利用大语言模型（LLM）对文档和 query 进行深入理解，通过对相关性程度进行排序来实现 Re-ranking 。文中介绍了 RankGPT 这种基于 LLM 的 Re-ranking 方法。
怎么解决大模型知识库的检索问题，RAG检索增强之——ReRank(重新排序)
Code1994的博客
12-10 3072
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
RAG优化神器：rerankers重新排名模型的终极方案，提供轻量级统一API
m0_59235945的博客
09-18 6646
Reranker 是对初步检索出的候选文档集进行重新排序的模型或算法。它在初始检索（通常基于简单的匹配算法，如 TF-IDF、BM25 或 Dense Embedding）之后，对结果进行二次处理，确保最相关的内容排在前面。Reranker 通常利用更复杂的语义理解和深度模型，比如 BERT 或其他 Transformer 模型，来更好地衡量候选文档与查询之间的相关性。
大模型实操与API调用 | 三十六、Rerank模型在RAG中的部署与应用
Androiddddd的博客
08-07 2932
Rerank是RAG中的一个关键组件，它的作用是对检索到的文档进行重新排序，确保与查询问题最相关的文档排在前面。这有助于提高LLM生成回答的准确性和质量。RAG概述RAG是一种结合了检索和生成的语言模型技术。当提出问题时，RAG首先检索相关信息，然后基于这些信息生成回答。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。
RAG 04：重排序（Re-ranking）技术探讨
DEVELOPERAA的博客
05-14 1万+
重排序（Re-ranking）技术在检索增强生成（Retrieval Augmented Generation，RAG）全流程中起着至关重要的作用。在最原始的 RAG 方法中，可能会检索到大量的上下文，但并非所有上下文都与问题相关。
RAG的rerank模型
01-22
### RAG 架构中的重排序 (Rerank) 模型 #### 工作原理 在检索增强生成（Retrieval-Augmented Generation, RAG）架构中，重排序模型用于优化初始检索阶段获得的文档片段列表。通过评估这些片段与查询之间的相关性，重排序过程能够更精准地筛选出最有可能帮助生成高质量响应的内容[^1]。 具体来说，当用户输入一个问题或提示时，系统首先利用索引数据库执行快速检索操作来获取一批候选文档片段；接着，重排序模块会对这批初步选定的结果集进行二次处理——基于更加复杂的匹配算法计算各条目同原始请求间的相似度得分，并据此调整顺序，使得最终呈现给下游任务使用的资料具备更高的针对性和准确性[^2]。 #### 使用方法 为了实现上述功能，在实际开发过程中可以借助Hugging Face提供的Text Embedding Inherence工具部署专门训练过的重排序模型实例。该流程通常涉及以下几个方面： - **定义数据管道**：构建连接上游检索组件与当前环节的数据流路径，确保能顺利接收待评分项目作为输入并向后续步骤传递经过重新排列后的输出结果； - **调优超参设置**：根据实验反馈不断迭代修改影响性能表现的关键因子直至达到满意的效果为止。 ```python from transformers import AutoModelForSequenceClassification, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("cross-encoder/ms-marco-MiniLM-L-12-v2") model = AutoModelForSequenceClassification.from_pretrained("cross-encoder/ms-marco-MiniLM-L-12-v2") def rerank(query, documents): inputs = tokenizer([query]*len(documents), documents, return_tensors="pt", padding=True, truncation=True) outputs = model(**inputs).logits.flatten().tolist() ranked_docs = sorted(zip(outputs, documents), reverse=True) return [doc for score, doc in ranked_docs] ``` 此代码展示了如何使用交叉编码器模型来进行简单的重排序任务。这里选择了`ms-marco-MiniLM-L-12-v2`这个针对MARCO数据集微调过的小型BERT变体版本作为例子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值