RAG面试内容整理-10. 重排序器（reranker）模型与训练方法

最新推荐文章于 2025-07-31 09:43:16 发布
最新推荐文章于 2025-07-31 09:43:16 发布
阅读量269 收藏
点赞数 10
CC 4.0 BY-SA版权
分类专栏： 面试 AI 文章标签： 面试 职场和发展 大模型 算法 AI 人工智能 RAG
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ispeasant/article/details/149768255
面试 同时被 2 个专栏收录
539 篇文章 ¥9.90 ¥99.00
订阅专栏
AI
124 篇文章
订阅专栏

重排序器（Reranker）是在检索阶段之后对初步候选结果进行精细排序的模型。典型的RAG流水线可能首先用高召回的检索器找出若干文档候选（例如Top 50），然后用重排序模型对这50个候选打分排序，选出前若干（如Top 5）提供给生成器使用。这样可以兼顾效率和精度：检索器快速筛选可能相关的集合，重排序器深入分析内容相关性以提高Precision。

常见的重排序模型基于BERT等预训练模型的交叉编码（Cross-Encoder）。与双塔模型不同，交叉编码器在输入时将查询和文档拼接，让Transformer同时关注二者来判断相关性。以Nogueira等人在2019年提出的BERT reranker为例，他们将(query, passage)对输入BERT，取[CLS]输出通过一个线性层得到相关性分数，并在大规模标注数据（如MS MARCO）上训练模型区分相关/不相关文档。这种方法利用BERT强大的表征

了解本专栏 订阅专栏 解锁全文
RAG面试内容整理-4. 语义表示与向量化（BERT、DPR、ColBERT 等）
不务正业的猿
07-25 262
语义表示指将文本转换为能捕捉其语义信息的向量（嵌入）表示，以便进行相似度计算和检索。在RAG系统中，优秀的语义表示模型至关重要，因为检索器需要将查询和文档映射到同一向量空间中，使得相关的问答对距离更近。
RAG面试内容整理-9. 查询改写与增强（Query Rewriting, Query Expansion）
不务正业的猿
07-30 178
查询改写和查询增强是两种提升检索效果的技术，目标是在不改变用户意图的前提下，使检索器收到的查询更全面或明确，从而找到更多相关信息。
RAG面试内容整理-11. 知识库构建与维护（文本预处理、去重、版本控制）
不务正业的猿
07-31 100
高质量的知识库是RAG系统准确可靠的基础。知识库构建涵盖从原始数据到可检索语料的一系列步骤，包括数据收集、清洗预处理、分块索引和持续维护更新等。
RAG面试内容整理-12. 检索质量评估指标（MRR, Recall@K, nDCG 等）
最新发布
不务正业的猿
07-31 318
在开发和优化RAG系统时，需要对检索组件的效果进行量化评估。信息检索领域有一系列经典指标可用于衡量检索质量，常见的包括Recall@K、MRR和nDCG等。
大模型 RAG 二次重排序的重要性：为什么需要 rerank?
2401_84033492的博客
12-17 2554
结合Embedding模型和Reranker的优势，实现了效率和准确性的平衡。Embedding模型负责快速筛选候选文档，而Reranker则通过更细致的分析对这些文档进行精准排序，虽然其的计算开销较高，但它在提升排序准确性方面的作用不可忽视。
【RAG】Context Precison 提高33.3%！重排序是什么？基于LangChain的重排序实现
Sonetto_一名大三小菜的经历分享，日更，讲述自身的、最贴切实际的知识分享
05-01 778
**打个比方** 想象你在图书馆找书： 1. **第一步（检索）**：图书管理员快速从书架上抱来20本可能相关的书（基于书名/关键词的粗略匹配）。 2. **第二步（重排序）**：你翻开每本书的目录，仔细对比哪几本**真正解答你的问题**，留下3本最相关的（高精度筛选）。 **重排序就是那个“仔细翻目录”的过程**，确保最终交给大脑（LLM）的书是精华。
【AI大模型】让RAG更进一步的利器：教你使用两种出色的Rerank排序模型
2401_85327249的博客
11-30 2076
在高级RAG的应用中，常常会有一些“检索后处理（Post-Retrieval）”的环节。顾名思义，这是在检索出输入问题相关的多个Chunk后，在交给LLM合成答案之前的一个处理环节。在这个环节中，可以做一些诸如相似度过滤、关键词过滤、chunk内容替换等处理。其中，Rerank（重排序）是一种常见的，也是在RAG应用优化中很常见的一种技术处理环节。
【AI大模型】RAG检索增强之ReRank(重新排序)模型，零基础小白收藏这一篇就够了！！
2401_85325557的博客
03-31 1326
Rerank模型是一种用于优化信息检索结果排序的机器学习模型，通过精细化评估文档与查询的相关性，提升最终结果的准确性和语义匹配度。以下是其核心要点： 定义与定位 ​ 属于重排序算法，作用于初步检索（如关键词匹配或向量相似度检索）之后，对候选文档进行二次筛选和排序。在RAG（检索增强生成）流程中，与Embedding模型配合使用，形成“粗筛+精排”的协同机制。
大模型面试秘籍：RAG工程实践经验总结，助你一臂之力！
2401_85343303的博客
04-02 728
虽然RAG工程整体有很多论文、算法和方法论，但在实际使用过程中，当数据量大了RAG很容易出现不可控的问题， 本篇就针对实践过程中遇到的问题总结面经进行分享，看看能不能给大家提供一些帮助。下面是一个快捷目录。下面是答案。**目的：**让被检索的内容与query之间的相关性更加紧密特别是术语更新较快且比较罕见的领域，可以针对性地进行微调。**目的：**基于上下文动态调整embedding当然这只是个发论文的思路，工程落地的时候这块还是有待验证的。
大模型时代的企业转型：RAG技术的进化与挑战
m0_64752471的博客
09-14 1258
从2023年起开始火爆的大语言模型（Large Language Model，LLM），如GPT/Gemini/通义千问/GLM/文心一言/豆包等，经过了一年多的比拼和进化，已经几乎涵盖了所有通用性、常识性的知识和理解力；与之同时，更多传统行业的企业也被吸引到大语言模型的生态中，探索新AI技术为企业带来实质性的变革。与大模型厂商对通用能力的比拼不同，传统企业更关注大模型通用能力与自身行业或企业内部的垂直领域的知识相结合，以满足企业特有业务场景的述求。
NLP高频面试题（二十五）——RAG的reranker模块结果，原理和目前存在的挑战
WeLearnNLP
03-30 240
在人工智能领域，检索增强生成（Retrieval-Augmented Generation，简称RAG）技术正日益受到关注。其中，Reranker模块在提升检索结果质量方面发挥着关键作用。本文将详细探讨Reranker的作用、工作原理以及当前面临的挑战。
面试150 数字范围按位与
kingJamesbond的博客
07-27 215
只要 left < right，说明两者在某些低位上存在不同，为了找到它们的公共前缀（高位相同部分），不断将 left 和 right 同时右移（即除以2），直到它们相等，记录右移的次数 shift。最后，将相等的值左移 shift 位，补回原来去掉的低位0，即为最终结果。
Agent大模型大厂面试题及讲解答案
2401_85592132的博客
07-27 333
这篇技术文章讨论了Agent大模型的核心概念、架构与未来发展。主要内容包括： Agent大模型与传统大模型的差异：具备自主决策、动态规划和闭环交互能力 典型架构五大模块：感知、记忆、规划、行动和反思模块 关键技术实现：工具调用安全性、三种记忆机制（上下文窗口/向量数据库/知识图谱） 性能评估指标：任务完成率、交互效率、鲁棒性等 落地挑战与应对：长任务规划、实时数据依赖、安全性风险等 未来趋势：多模态融合、群体协作、轻量化与个性化发展 文章以电商智能客服为例，展示了Agent大模型的实际工作流程。
面试150 单词拆分
kingJamesbond的博客
07-28 283
考虑动态规划，首先需要构建初始化的dp数组，dp[i]为True表示以i长度的字串能由wordDict的单词组成。dp[0]要为True，否则后面递推下去都是False。
Java面试宝典：MySQL执行原理二
搬砖的小熊猫的博客
07-27 220
MySQL通过精确计算I/O+CPU成本选择最优执行计划，结合查询重写、子查询物化、连接顺序优化等技术提升性能。掌握成本计算原理与优化策略，可针对性设计高效SQL语句。
《剑指offer》-数据结构篇-栈和队列
乐于创作，乐于分享，志于创作高价值博文
07-27 1133
摘要：本文介绍了5个栈相关的算法实现，包括用两个栈实现队列、包含min函数的栈、判断栈的压入弹出序列、翻转单词顺序以及滑动窗口最大值。每个算法都提供了Python代码实现和解题思路：使用辅助栈实现队列操作；维护最小栈实现O(1)时间获取最小值；通过模拟过程验证弹出序列；利用字符串分割翻转单词顺序；使用双端队列维护滑动窗口最大值。这些算法涵盖了栈在数据结构中的典型应用场景，展示了栈在处理顺序反转、最值维护等问题上的优势。
Java面试实战：电商高并发与分布式事务处理
weixin_49437670的博客
07-27 1029
谢飞机同学，今天我们聚焦电商系统的高并发架构和分布式事务处理技术。：（自信地）面试官好！我研究过双十一架构，秒杀系统、分布式事务这些我都懂！
JAVA：Seata 常见面试题的技术指南
木头
07-29 603
Seata是一个开源的分布式事务解决方案，主要用于解决微服务架构下的跨服务、跨数据库事务一致性问题。其核心组件包括事务协调器(TC)、事务管理器(TM)和资源管理器(RM)，采用增强的2PC协议实现事务管理。Seata支持AT、TCC、SAGA和XA四种事务模式，其中AT模式通过自动生成Undo Log实现事务回滚，提供高性能的事务处理。系统通过全局唯一XID跟踪事务状态，并包含完善的故障恢复机制。Seata相比传统2PC具有性能优化、开发简化等优势，可通过集群部署、事务粒度优化等方式提升性能。
Java面试宝典：MySQL8新特性底层原理
搬砖的小熊猫的博客
07-30 517
MySQL 5.7 官方支持已于 2023年10月31日终止。
rag的docker-compose.yml
07-01
在部署 RAG（Retrieval-Augmented Generation）应用时，Docker Compose 提供了一种便捷的方式来管理和启动多个依赖服务。以下是一个典型的 `docker-compose.yml` 文件示例，适用于部署支持 RAG 的服务，包括 PostgreSQL、pgvector、Redis、MinIO、Elasticsearch 和 FastGPT 应用本身。 ### 示例 docker-compose.yml 文件 ```yaml version: '3.8' services: postgres: image: postgres:15 container_name: rag-postgres environment: POSTGRES_USER: fastgpt POSTGRES_PASSWORD: fastgpt POSTGRES_DB: fastgpt volumes: - postgres_data:/var/lib/postgresql/data ports: - "5432:5432" restart: unless-stopped pgvector: image: zilliz/pgvector:v0.1.0 container_name: rag-pgvector depends_on: - postgres environment: POSTGRES_HOST: postgres POSTGRES_USER: fastgpt POSTGRES_PASSWORD: fastgpt POSTGRES_DB: fastgpt ports: - "54321:5432" restart: unless-stopped redis: image: redis:alpine container_name: rag-redis ports: - "6379:6379" volumes: - redis_data:/data restart: unless-stopped minio: image: minio/minio:latest container_name: rag-minio ports: - "9000:9000" - "9001:9001" environment: MINIO_ROOT_USER: minioadmin MINIO_ROOT_PASSWORD: minioadmin command: server /data --console-address :9001 volumes: - minio_data:/data restart: unless-stopped fastgpt: image: ghcr.io/labring/fastgpt:latest container_name: fastgpt-app depends_on: - postgres - pgvector - redis - minio ports: - "3000:3000" environment: DATABASE_URL: postgres://fastgpt:fastgpt@postgres:5432/fastgpt VECTOR_DATABASE_URL: postgres://fastgpt:fastgpt@pgvector:5432/pgvector REDIS_URL: redis://redis:6379 MINIO_ENDPOINT: minio:9000 MINIO_ACCESS_KEY: minioadmin MINIO_SECRET_KEY: minioadmin restart: unless-stopped ``` ### 配置说明 1. **PostgreSQL 与 pgvector**： PostgreSQL 是用于存储结构化数据的关系型数据库，而 pgvector 是其扩展，专门用于处理向量数据的存储和检索，是实现 RAG 检索模块的关键组件[^2]。 2. **Redis**： Redis 被用作缓存层，加速频繁访问的数据读取，减少数据库压力，提高整体系统响应速度[^1]。 3. **MinIO**： MinIO 提供对象存储功能，适合存储大文件如文档、图片等非结构化数据，常用于 RAG 中的原始数据输入。 4. **FastGPT 容器**： FastGPT 是基于 GPT 的本地化部署模型应用，集成了 RAG 功能，负责处理用户查询并生成答案。它通过环境变量连接到各个依赖服务[^2]。 5. **网络与依赖管理**： 所有服务通过 Docker Compose 内部网络自动发现彼此，`depends_on` 确保服务按顺序启动，避免初始化失败。 ### 启动服务 使用以下命令启动所有服务： ```bash docker-compose up -d ``` 这将以后台模式启动所有定义的服务，并根据配置自动拉取镜像、创建容器并设置网络和卷挂载。 ### 停止与清理 如果需要停止服务或进行清理，可以使用以下命令： ```bash docker-compose down ``` 该命令会停止并删除容器，但不会删除持久化卷（除非加上 `-v` 参数）。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不务正业的猿

谢谢您的支持与鼓励！！！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值