通过Hybrid(混合)搜索提高RAG管道的检索性能

原创 已于 2024-05-02 01:20:49 修改 · 1.8k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #自然语言处理 #全文检索

于 2024-02-29 09:52:16 首次发布
本文探讨了如何通过混合搜索技术提高RAG（检索增强生成）管道的性能。混合搜索结合了基于关键词的传统搜索和现代的矢量搜索，通过融合搜索结果和重新排名来提供更相关的搜索结果。这种方法在需要精确关键词匹配和语义理解的场景中尤其有用，如Stack Overflow平台。通过调整关键词搜索和矢量搜索的权重，可以作为RAG管道的超参数来优化检索性能。

原文地址：Improving Retrieval Performance in RAG Pipelines with Hybrid Search

如何通过将传统的基于关键字的搜索与现代矢量搜索相结合来找到更相关的搜索结果

2023 年 11 月 28 日

随着最近人们对检索增强生成(RAG) 管道的兴趣关注，开发人员开始讨论构建具有生产就绪性能的 RAG 管道的挑战。就像生活中的许多方面一样，帕累托原理也适用于 RAG 管道，其中实现最初的 80% 相对简单，但实现剩余 20% 的生产准备情况却具有挑战性。

一个经常重复的主题是通过混合搜索改进 RAG 管道的检索组件。

已经获得构建 RAG 管道经验的开发人员已经开始分享他们的见解。一个经常重复的主题是通过混合搜索改进 RAG 管道的检索组件。

本文向您介绍混合搜索的概念、它如何通过检索更相关的结果来帮助您提高 RAG 管道性能，以及何时使用它。

什么是混合搜索

最低0.47元/天 解锁文章
lichunericli
关注
混合检索（Hybrid Search）：构建下一代 AI 搜索与 RAG 系统的核心范式
reset2021的博客
12-18 466
摘要：混合检索技术正成为大语言模型时代信息检索的关键范式，通过融合稀疏向量（如BM25）的关键词精确匹配与稠密向量（如BERT）的语义理解能力，解决传统检索的局限性。文章系统探讨了混合检索的理论基础、技术演进（从加权融合到统一表示模型）、主流实现工具（Elasticsearch、Milvus等）及工程实践，并指出其在RAG、电商推荐等场景中的显著优势。研究表明，混合检索能提升12-18%的检索效果，降低30%的幻觉率，成为平衡召回率与准确率的理想解决方案。
【DeepSeek R1构建本地RAG知识库】企业级 RAG 系统落地与性能调优实战指南
最新发布
少说，多做
11-19 84
本文系统介绍了RAG（检索增强生成）技术的优化方法，围绕检索器、索引分块和生成器三大核心模块，提出了提升检索精度和生成质量的关键策略。在检索环节，建议采用混合检索模式、分级检索机制和查询重构优化；在知识组织方面，强调语义化分块和元数据索引的重要性；生成环节则注重Prompt设计、答案后处理和幻觉控制。文章还分享了系统工程实践、评估体系建立以及前沿技术方向，为企业落地RAG提供了从基础优化到进阶创新的完整解决方案。通过全流程优化，可有效解决"检索不准、生成不稳"等核心问题，实现RAG系统从
利用Pinecone和Hybrid Search实现高效向量检索
dgay_hua的博客
03-21 562
Pinecone是专为高效向量检索设计的数据库，可以处理高维数据。Hybrid Search结合了密集向量和稀疏向量检索的优势，在提高检索准确性的同时，保证了检索的实时性。
知寰Hybrid RAG：不止于图谱，重新定义GraphRAG的行业智能新范式
2503_93350398的博客
11-12 290
知寰Hybrid RAG 由创邻科技（GalaxyWind）自主研发，是面向高复杂度、高可靠性知识服务场景的下一代 GraphRAG 产品。相较于当前市场上其他 GraphRAG 产品（尤其是国外一些尚处早期阶段的小众方案），它在架构设计、数据处理能力、推理机制和行业适配性等方面展现出显著差异化优势。
如何将传统的关键字搜索与现代向量搜索相结合，找到更相关的搜索结果
HJ_blog
02-27 1329
混合搜索是一种搜索技术，它结合了两种或两种以上的搜索算法，以提高搜索结果的相关性。虽然没有明确定义是哪种算法的组合，但混合搜索最常见的是指传统的基于关键字的搜索和现代的向量搜索的组合。传统上，基于关键词的搜索是搜索引擎的不二选择。但随着机器学习（ML）算法的出现，向量嵌入带来了一种新的搜索技术——向量或语义搜索——使我们能够对数据进行语义搜索。
Elasticsearch 混合搜索 - Hybrid Search
Elastic 中国社区官方博客
02-18 3925
在本系列关于向量搜索的最后一篇文章中，我们介绍了 Elasticsearch 支持的不同类型的混合搜索查询。一种选择是使用词汇搜索（例如，查询）和向量搜索（例如，knn）的组合；另一种方法是利用新引入的带有 sparse_vector 查询的 retriever 搜索选项。我们首先快速回顾了一下融合词汇和语义搜索结果以提高准确性的诸多优势。在此过程中，我们回顾了两种融合词汇和语义搜索结果的不同方法，即凸组合（CC）和倒数排序融合（RRF），并研究了它们各自的优缺点。
Elasticsearch：什么是混合搜索?
Elastic 中国社区官方博客
06-15 1564
混合搜索(Hybridsearch)是一种融合关键词搜索和语义搜索的新型检索方式，通过结合传统精确匹配与语义理解的优势，显著提升搜索精准度。它将BM25排序算法与向量搜索技术相结合，既能处理精确关键词匹配(稀疏向量)，又能理解查询意图和上下文(密集向量)。混合搜索特别适合处理模糊查询和复杂语义场景，在电商、企业文档等应用中展现优势。与检索增强生成(RAG)技术结合后，还能为生成式AI提供更准确的上下文信息。Elastic等平台已提供开箱即用的混合搜索解决方案，使开发者能轻松实现更智能的搜索体验。
LlamaIndex实现RAG增强:融合检索(Fusion Retrieval)与混合检索（Hybrid Search）
AI人工智能的学习之路
04-03 2200
本代码实现了一个混合检索系统，将基于向量的相似性搜索与基于关键词的BM25检索相结合。该方法旨在综合两种技术的优势，提升文档检索的整体质量和相关性。
RAG优化知识库检索（4）：混合检索技术
分享一些感兴趣的技术方面
05-15 1607
混合检索技术在RAG（检索增强生成）系统中的应用显著提升了检索效果。本文探讨了语义检索与关键词检索的优缺点，指出两者在语义理解和精确匹配方面的互补性。通过结合BM25与向量检索，混合检索系统能够更全面地捕捉文档的相关性。文章详细介绍了并行检索、级联检索、稀疏-密集混合表示等多种结合方式，并探讨了权重调整策略，如线性组合、动态权重调整和排序融合算法。此外，稀疏-密集混合检索架构的设计和实现方案也被深入分析，展示了如何通过结合不同检索方法的优势，提升RAG系统的检索质量和效率。
大模型RAG实战｜混合检索：BM25检索+向量检索的LlamaIndex实现
mama19971023的博客
08-06 5794
目前，大模型RAG系统中普遍采用混合检索来提升检索准确性。针对要回答的问题，同时通过。
贝莱德&英伟达 - HybridRAG：整合GraphRAG和VectorRAG以实现金融信息高效提取
m0_59164520的博客
09-16 1996
从金融应用中产生的非结构化文本数据中提取和解释复杂信息，例如收益电话会议记录，即使使用当前最佳实践进行检索增强生成（RAG）（称为利用向量数据库进行信息检索的VectorRAG技术），也对大型语言模型（LLMs）提出了重大挑战，原因包括领域特定术语和文档复杂格式等挑战。
深入探索Weaviate的Hybrid Search功能：提升搜索结果准确性的利器
mmlihaio的博客
10-10 764
Hybrid Search是Weaviate中一种结合性搜索方法。它利用稀疏向量和密集向量来表示查询和文档的语义和上下文。通过结合BM25和向量搜索排名算法，这种搜索可以返回最相关的结果。通过Weaviate的Hybrid Search功能，开发者可以显著提升搜索结果的相关性和准确性。Weaviate官方文档LangChain GitHub仓库。
使用向量数据库pinecone构建应用04：混合搜索 Hybrid Search
阿正的梦工坊
02-23 2694
Hybrid Search
利用 LangChain 实现高级混合检索：深入探讨 Hybrid Search
qq_29929123的博客
08-12 1770
混合搜索是一种结合多种搜索技术的高级检索方法。向量相似度搜索：基于嵌入（embeddings）的语义相似度匹配。传统搜索技术：如全文搜索、关键词匹配、BM25 算法等。通过结合这些技术，混合搜索可以在保持语义相关性的同时，提高检索的精确度和召回率。混合搜索技术为 LangChain 用户提供了更强大和灵活的检索能力。通过结合向量相似度搜索和传统搜索技术，我们可以实现更精确和相关的检索结果。在实际应用中，根据具体需求和数据特性选择合适的混合搜索策略，将大大提升信息检索的质量和效率。
Hybrid Search in Weaviate：提升搜索准确性和相关性的强大工具
ppoojjj的博客
08-14 1240
Weaviate 的 Hybrid Search 功能为开发者提供了一个强大的工具，可以显著提升搜索结果的质量。通过结合 BM25 和向量搜索，它能够在各种场景下提供更加精准和相关的搜索结果。Weaviate 官方文档LangChain 文档向量数据库和搜索引擎比较。
大模型 | RAG 中的混合搜索：使用组合技术增强信息检索
star_nwe的博客
08-20 3223
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【RAG】混合检索（Hybrid Search） 提高检索精度
weixin_42430947的博客
03-09 1619
RAG基于 RRF 的融合排序，融合向量检索、关键词检索 等检索算法，提高检索精度
深入探讨Weaviate中的Hybrid Search：提升搜索准确度和相关性
mmlihaio的博客
11-08 505
通过本文的介绍，我们了解了Weaviate中的Hybrid Search的实现及其优势。该功能通过结合多种算法，显著提升了搜索结果的精确度和相关性。Weaviate 官方文档LangChain 项目主页。
探索Weaviate的Hybrid Search：提升搜索准确性的新方法
ppoojjj的博客
11-15 816
Hybrid Search是一种结合多种搜索算法的技术，旨在提高搜索结果的准确性。Weaviate通过稀疏向量（如BM25）和密集向量（如神经网络嵌入）来表示搜索查询和文档的意义与上下文。通过这种组合，Weaviate可以更好地理解和响应复杂的查询。Weaviate的Hybrid Search通过结合稀疏和密集搜索技术，为复杂搜索需求提供了更为准确的解决方案。Weaviate 官方文档LangChain 官方文档如何使用API代理服务提高访问稳定性。
openwebui部署自定义文本rag管道
03-28
<think>好的，我现在需要帮助用户了解如何在OpenWebUI中部署自定义文本RAG管道。首先，我要回忆一下用户提供的引用内容，特别是引用[1]中提到的Pipelines插件框架，这似乎是一个关键点。用户希望将自定义逻辑和Python库集成到OpenWebUI中，所以可能需要通过Pipelines插件来实现RAG。 接下来，我应该分解部署RAG管道的步骤。RAG通常包括文本分块、向量化、存储到向量数据库、检索和生成几个步骤。用户需要自定义这些部分，可能需要使用LangChain或LlamaIndex这样的库。根据引用[1]，Pipelines插件允许集成Python库，所以需要指导用户如何将这些库封装到插件中。 然后，配置OpenWebUI的步骤也很重要。用户需要设置Pipelines URL，替换原来的OpenAI URL，这样请求才会转到自定义的RAG流程。可能需要修改配置文件或环境变量，这部分要具体说明。 示例部分应该给出一个简化的代码框架，比如使用LangChain加载文档、分块、向量化，再结合本地模型生成回答。同时，需要提醒用户安装必要的依赖，比如langchain、chromadb等，并确保OpenWebUI的版本支持Pipelines插件。 另外，用户可能遇到的问题比如文件内容提取失败，引用[2]提到了确保文件格式正确和处理权限问题，这点需要包含在注意事项中。此外，插件调试和性能优化也是用户可能关心的，应该作为相关问题列出。 最后，生成的相关问题需要覆盖调试、性能优化、多语言支持以及与其他插件的整合，这样用户可以有进一步探索的方向。整个回答需要结构清晰，步骤明确，符合用户要求的系统级指令，比如正确使用LaTeX格式和引用标识。</think>### OpenWebUI 中部署自定义文本 RAG 管道的分步指南 #### 1. 理解核心组件 RAG（检索增强生成）管道通常包含以下步骤： - 文本分块与向量化：使用嵌入模型将文档转换为向量 $$ \text{Embedding}(d) \rightarrow v_d \in \mathbb{R}^n $$ - 向量存储：将向量存入向量数据库（如 ChromaDB） - 语义检索：根据用户问题检索相关文本块 - 生成增强：将检索结果输入大模型生成最终回答 #### 2. 配置 Pipelines 插件框架 通过 OpenWebUI 的 Pipelines 插件集成自定义逻辑： ```python # 示例管道结构 from openwebui.pipelines import Pipeline class CustomRAGPipeline(Pipeline): def __init__(self): self.embedding_model = load_embedding_model() self.vector_db = connect_chromadb() self.llm = load_local_llm() async def process_request(self, request): # 自定义处理逻辑 retrieved = self.retrieve(request.query) return self.generate_response(retrieved) ``` #### 3. 实现核心功能模块 （1）文档处理模块： ```python from langchain.text_splitter import RecursiveCharacterTextSplitter def chunk_documents(docs, chunk_size=512): text_splitter = RecursiveCharacterTextSplitter( chunk_size=chunk_size, chunk_overlap=20 ) return text_splitter.split_documents(docs) ``` （2）混合检索策略： ```python def hybrid_retrieval(query, vector_weight=0.7): # 语义检索 semantic_results = vector_db.similarity_search(query, k=3) # 关键词检索（可选） keyword_results = bm25_retriever.search(query, k=2) # 混合加权排序 combined = fusion_algorithm(semantic_results, keyword_results, vector_weight) return combined[:3] ``` #### 4. 部署配置 修改 OpenWebUI 配置文件 `webui.yaml`： ```yaml pipelines: rag-pipeline: enabled: true module: custom_rag_pipeline config: embedding_model: "BAAI/bge-small-zh-v1.5" vector_db_path: "/data/chromadb" llm_endpoint: "http://localhost:5000/v1" ``` #### 5. 启动流程 ```bash # 安装依赖 pip install langchain chromadb sentence-transformers # 启动 OpenWebUI 时加载自定义管道 openwebui start --enable-pipelines custom_rag_pipeline ``` #### 6. 验证部署 通过 API 测试管道： ```python import requests response = requests.post( "http://localhost:3000/api/pipelines/rag", json={"query": "解释量子计算的基本原理"}, headers={"Authorization": "Bearer YOUR_API_KEY"} ) print(response.json()) ``` §§注意事项§§ 1. 文件预处理需确保文本编码和格式正确（引用[2]） 2. 向量数据库需要定期维护索引 3. 建议添加缓存层提升性能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值