RAG--重排序

sccum

于 2025-03-18 17:40:39 发布

阅读量171

点赞数 4

分类专栏： RAG 文章标签： python 深度学习人工智能

本文链接：https://blog.youkuaiyun.com/sccum/article/details/146344931

版权

RAG 专栏收录该内容

6 篇文章

订阅专栏

专题1：重排序的方法

方法1：利用bge-reranker模型的能力

在检索的时候一般用的是双塔模型，使用一个模型将query和document嵌入到一个空间中，然后使用ANN算法检索

在排序的时候使用cross-encoder模型将两句话拼接到一起计算出来一个值表示相似度

方法2：用prompt方式引导LLM进行重排序：

提示词：
The following are passages related to query {{query}}
[1]{{passage_1}}
[2]{{passage_2}}
(more passages)
Rank these passages based on their relevance to the query.

方法3：利用Colbert Reranker方式进行重排序

文章链接：万字长文梳理2024年的RAG - 知乎

专题2：重排序模块评价指标

2.1 NDCG

主要是两个思想：1.高相似性的结果一定比一般关联性的结果更影响最终的指标得分；2.高关联度的结果出现在更靠前的位置时，NDCG指标会更高

首先说明计算公式：

2.2 MRR

专题3：重排序模型的部署

利用xinference部署，文章链接：Xinference部署reranker模型_xinference部署bge-reranker-v2-m3-优快云博客

专题4：其他小问题

4.1 下载reranker模型的时候要下载完整，如果下载不完整的话会导致没办法加载初始权重

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

sccum

关注关注

4
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【AI大模型应用开发】RAG-Fusion框架：忘掉 RAG，未来是 RAG-Fusion

同学小张的博客

09-24

513

RAG目前很火，但是也有一些不足的地方。有不足就有改进方法。本文我们来看一个方法：RAG-Fusion，理解其原理，并看一下其实现源码。

揭开RAG重排序（Rerankers）和两阶段检索（Two-Stage Retrieval）的神秘面纱

春华秋实

08-12

390

此外，由于查询是在收到后才知道的，双编码器对查询的上下文一无所知（我们是在用户提出查询之前就已经创建了嵌入）。由于重排序器是在用户提出查询时才运行，这让我们能够针对具体查询分析文档的含义，而非仅生成一个泛化的、平均化的含义。然而，这在实际操作中是不可行的，因为大语言模型对可处理的文本量有限制，这个限制称为上下文窗口。第二，尽管大模型拥有高达100K Token的巨大上下文窗口，理论上可以包含大量文档，但我们仍然不能返回所有文档并填满上下文窗口来提高召回率。请注意，这里的文档A实际上等同于我们的查询。

参与评论您还未登录，请先登录后发表或查看评论

大模型优化——重排序模型

xzq_qzx_的博客

03-08

2401

重排序是信息检索系统中的一个重要步骤，它发挥着优化检索结果的关键作用。在初始检索阶段，系统根据某种标准（如相似度）返回一组文档。然而，由于初始排序可能并不总是能够准确反映文档与查询的真实相关性，因此需要进行重排序来提升检索结果的质量。不同的重排序方法使用检索模型进行二次检索：一种常见的重排序方法是使用检索模型进行二次检索。在初始检索后，通过利用更复杂的模型，例如基于嵌入的检索模型，可以再次检索相关文档。这有助于更精确地捕捉文档与查询之间的语义关系。

RAG检索增强之Reranker重排序模型详解！

热门推荐

m0_63171455的博客

06-17

1万+

有意思的是，这里的前两名的排名结果刚好和未经过Rerank之前的排名相反！简单的说，Rerank就是对检索出来的多个chunks（或者nodes）列表进行重新排序，使得其排名与用户输入问题的相关性更匹配，使得更相关、更准确的chunk排名更靠前，从而在 LLM生成时能够被优先考虑以提高输出质量。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力：大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

RAG 2 - 选择最佳embedding和重排序模型

小然的百宝盒

01-14

1135

一、理解Retrieval Evaluation中的评估指标：二、设置环境三、设置Key 四、下载数据五、加载数据六、生成问题上下文对七、自定义检索器八、评估九、结果十、分析 embedding性能 重排序的影响 重排序的必要性：总体优势十一、结论参考文献

24-大模型（LLMs）RAG 优化策略 —— RAG-Fusion篇.pdf

12-31

与RAG不同的是，RAG-Fusion新增了查询生成和结果重新排序的步骤，从而拓展了搜索视野并提升了结果质量。 RAG-Fusion工作流程涵盖了多查询生成、查询生成的技术实现和工作原理，以及逆向排名融合（RRF）的原理和实施...

忘记RAG，未来是RAG-Fusion

安静的软件工程师

01-08

2151

忘记RAG，未来是RAG-Fusion。搜索的下一个前沿：检索增强生成与相互排名融合和生成的查询相遇。

探索RAG-Pinecone-ReRank：结合Pinecone与OpenAI实现文档重排序

nseejrukjhad的博客

09-19

812

RAG-Pinecone-ReRank提供了一种高效的文档检索与重排序解决方案，通过结合多种技术大大提升了文档检索的精准性。建议进一步探索LangChain和Pinecone的官方文档以深入了解。

meta-rag-kdd比赛一些实践example（1）：rag重排改进，ssh端口调用，git工具相关功能使用学习。

weixin_45329870的博客

04-29

1793

具体还需要什么三方库参见对应使用手册。

Re-ranking 从原理到实现的两种主流方法

安静的软件工程师

02-24

7383

Re-ranking 从原理到实现的两种主流方法

RAG实战10 - 构建一个RAG支持的聊天机器人（包括聊天、嵌入和重排序）

小然的百宝盒

01-15

733

转载自：LLM之RAG实战（十）| 如何构建一个RAG支持的聊天机器人，包括聊天、嵌入和重排序在人工智能和机器学习不断发展的环境中，聊天机器人变得越来越复杂，从简单的转变为。在这篇博客文章中，我们将深入研究创建一个RAG支持的聊天机器人，该聊天机器人利用先进的NLP模型进行聊天、嵌入和重新排序，并使用进行高效的文档检索。

用通俗易懂的方式讲解：结合检索和重排序模型，改善大模型 RAG 效果明显

2301_78285120的博客

01-06

4358

重排序是信息检索系统中的一个重要步骤，它发挥着优化检索结果的关键作用。在初始检索阶段，系统根据某种标准（如相似度）返回一组文档。然而，由于初始排序可能并不总是能够准确反映文档与查询的真实相关性，因此需要进行重排序来提升检索结果的质量。

如何优化RAG系统的性能表现？10条实用策略

Baihai_IDP的博客

12-20

1622

检索增强生成(RAG)系统最近备受关注，ChatGPT的火爆更让这类系统成为广泛讨论的热点。我们今天为大家带来的这篇文章，作者Matt Ambrogi的核心观点是：构建一个基本可用的RAG系统非常简单，但要使其达到实际生产可用的程度则异常困难，需要我们投入大量精力。为此，作者详细介绍了10种策略，包括清洗数据、尝试不同索引类型、优化分块策略、使用 Base Prompt、使用元数据过滤、使用查询路由、研究重排序、使用查询转换、微调嵌入模型、使用 LLM 生态相关工具等，这些策略都可能不同程度地提高RAG

LLM之RAG实战（十七）| 高级RAG：通过使用LlamaIndex重新排序来提高检索效率

wshzd的博客

01-20

1841

现在，假设前几篇文章是关于“南极企鹅”的，但你真正想要的是关于“动物园栖息地的企鹅”的信息，那么就需要对这几篇文章进行重新排序了，比如使用用户行为、特定关键字或更复杂的算法来进行该操作。衡量检索到的结果中至少包含一个与基本事实相关的项目的查询的比例或百分比。基本RAG的检索是静态的，会检索到固定数字（k）个相关文档，而如果查询需要更多的上下文（例如摘要）或更少的上下文，该怎么办？然而，尽管有这些优点，基于嵌入的检索有时准确性不高，并返回与查询相关的无关上下文，这会大大降低RAG系统的整体质量。

小白也可以轻松学大模型 RAG：FlagEmbedding 重排序

2201_75499313的博客

03-21

3140

RAG模型已经取得了显著的进展，但其性能仍然受到排序质量的限制。在实践中，我们发现重排序技术能够有效地改善排序的效果，从而进一步提升RAG模型在问答任务中的表现。重排序的作用与传统的嵌入模型不同，重排序器（reranker）直接以问题和文档作为输入，并输出相似度，而不是嵌入。通过将查询和文段输入到重排序器中，您可以获得相关性分数。

改进召回（Retrieval）和引入重排（Reranking）提升RAG架构下的LLM应用效果

强化学习曾小健

09-21

1万+

RAG架构来自于实际问题，而很多问题都是相似的，在效果优化层面，我们可以借鉴一些推荐系统等传统AI系统的优化经验，将其迁移过来，这对于改进RAG效果有很大的帮助，在后面的文章里，还将继续介绍具体场景的一些使用问题，欢迎关注。

RAG混合检索重排序

02-12

### RAG中的混合检索与重排序 #### 混合检索的作用在RAG框架内，混合检索指的是结合多个数据源或不同类型的检索策略来获取最相关的信息片段。这种方法不仅提高了信息覆盖范围，还增强了最终生成内容的多样性和准确性[^1]。 #### 重排序的重要性当初步检索得到一系列候选文档后，这些文档并非总是按照最优顺序排列。因此，引入重排序机制变得至关重要。它通过对初始检索结果重新评估并调整其优先级，使得那些真正有助于提高回答质量的文档能够被置于前列[^2]。 #### 实现方法概述为了有效实施这一过程，通常会采用两步走的方式： - **多源融合**：利用多种搜索引擎API或是内部构建的知识库作为输入端口；同时考虑加入文本相似度计算、主题建模等技术手段辅助筛选有用资源。 - **评分优化**：针对每一个检索出来的条目赋予一个综合得分，该分数由多项因素共同决定——比如匹配程度、权威性评价指标等等。随后依据此分值对所有候选项执行降序整理操作。具体来说，在编码层面可参照如下Python伪代码展示如何集成上述概念： ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration def hybrid_retrieval_and_reranking(query): tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-nq') retriever = RagRetriever.from_pretrained('facebook/rag-token-nq', index_name="exact", use_dummy_dataset=True) # 执行初次检索获得前N个文档片段 retrieved_docs = retriever.retrieve(query=query) # 对每个文档片段打分，并记录额外元数据（如来源可靠性） scored_documents = [] for doc in retrieved_docs: score = calculate_score(doc) # 自定义函数用于计算单篇文档的价值 metadata = get_metadata(doc) # 获取关于这篇文档的一些背景信息 scored_documents.append((doc, score, metadata)) # 根据得分高低再次排序 sorted_results = sorted(scored_documents, key=lambda item:item[1], reverse=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-nq').eval() inputs = tokenizer([query]*len(sorted_results), truncation=True, padding='longest', return_tensors="pt") generated_answers = [] for idx, (_, _, meta) in enumerate(sorted_results[:top_k]): # 只取排名靠前的结果参与后续处理 input_ids = torch.tensor([[sorted_results[idx][0].input_ids]]).to(model.device) outputs = model.generate(input_ids=input_ids) answer = tokenizer.decode(outputs[0], skip_special_tokens=True) generated_answers.append({"answer": answer, "metadata": meta}) return generated_answers ``` 这段代码展示了怎样在一个实际应用环境中部署带有混合检索和重排序特性的RAG系统。这里假设`calculate_score()` 和 `get_metadata()` 是预先定义好的功能模块，用来分别完成对各个文档片段价值评定及其附加属性提取的任务。