于稀疏检索与稠密检索的混合搜索

原创 已于 2024-05-06 10:28:21 修改 · 929 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #AIGC

于 2024-04-09 19:52:07 首次发布
部署运行你感兴趣的模型镜像

目的：

  1. 通过结合稀疏检索和稠密检索的混合检索解决基于向量检索RAG方案的暴露问题；
  2. 通过多路检索召回，提高整体RAG检索准确性和稳定性；
  3. 支持非结构化文档的知识准确检索；

优点：它同时考虑了查询与存储文档之间的语义相似性和关键字匹配度；

  1. 文本分片策略（文本特征处理）

文本分片：固定大小分块，内容感知分块，递归分块，专门分块（Markdown, html）

  • 总体策略方向：以语义为单位进行切分， 切分策略按数据集进行适配和微调
  • 文本切分常用的切割器：NLTK, SpaCy, langchian, llamaIndex；
  • 1）文档分块策略：对文档进行大小块切分（检索子块，返回父块）
  • 2）对切片文档进行相关问题生成，增强文档检索相关性（检索策略）
  • 3) 按chunk大小进行滑动窗口切分：即把文档按照chunk分成有重叠的若干段
  1. 查询转换（query transformation）策略 (搜索策略)

-  对用户query进行清洗和关键词抽取，由于用户query存在部分口语化的词，如停用词等，直接抽取用户中的关键词做召回是一个有效的方式。

  • queries 生成转换策略：对user query生成多个query, 单个query可能无法捕获用户感兴趣的全部范围，或者它可能太窄而无法产生全面的结果。
  • 基于规则对user query重写: 补充用户query隐含的先验知识或上下文知识
  • 基于LLM的转换（对复杂语句拆分多子句并行查询，对query生成多个query）
  1. 混合检索的重排与过滤算法策略（搜索策略）：
  • convex combination (权重加和)：
  • RRF（倒排融合算法）：
  1. 多轮对话的上下文检索（搜索策略）

：基本方法：检索与用户查询相关的上下文，然后将其与内存缓冲区中的聊天历史记录一起发送给LLM, 让LLM在生成下一个答案时了解先前上下文

：聊天历史记录和最后一条消息都

  1. 响应合成策略 (回答生成策略)：

-基本方法：将所有获取的上下文(>相关阈值)与查询一起连接并立即提供给LLM。

-其他响应合成策略：涉及多个LLM调用，以细化检索到的上下文并生成更好的答案：

- 1. 通过将检索到的上下文逐块发送到LLM来迭代地细化答案

- 2. 总结检索到的上下文以适应提示

- 3. 同的上下文块生成多个答案，然后将它们连接或总结

https%3A//arxiv.org/pdf/2005.11401.pdf

https%3A//arxiv.org/abs/2312.10997

GitHub - PKU-YuanGroup/ChatLaw: 中文法律大模型

GitHub - Raudaschl/rag-fusion

Response Synthesizer - LlamaIndex

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型（Large Language Model）训练与微调平台。通过 LLaMA Factory，可以在无需编写任何代码的前提下，在本地完成上百种预训练模型的微调

【大模型学习】第十三章 混合检索（Hybrid Retrieval）综述
电视里爬出的程序员 📺💻 领域王牌： ▶ 数字电视标准解码专家 ▶ 智能监控算法驯兽师 ▶ Linux嵌入式炼金术士 ▶ 人脸识别整活实践家
03-11 876
混合检索指的是在执行信息检索任务时，综合利用多种检索策略和技术，包括但不限于传统的TF-IDF、BM25等基于关键词的方法，以及BERT、Sentence-BERT等基于深度学习的语义相似度模型，以期获得更优的检索结果。
改进BM25稀疏检索和BGE稠密检索
ZJQ的博客
03-22 607
多阶段融合**：先使用BM25进行初步筛选，快速排除大量无关文档，然后对筛选出的文档使用BGE进行语义匹配，进一步提升检索的准确性。
ES混合检索
技术引领业务创新
03-05 1398
2024年06月上线 ES 8.13.3版本，该版本在向量检索、NLP能力等方面表现更优。为AI革命提供高级搜索能力！腾讯云大数据ES国内首发上线8.8.1版本利用Elasticsearch作为向量数据库，有效地创建、存储和搜索密集向量。提供图索引，通过HNSW以实现高效的最近邻搜索；支持端到端的向量生成、向量索引、向量相似性比较，无需额外的平台进行向量推理；一体化的搜索体验：多路召回混合打分、Faceting聚合分析能力、基于角色的访问控制；
开启RAG进阶：混合检索（关键字&向量）+重排序（原理讲解与示例体验）
weixin_42924914的博客
09-23 1651
接下来我们就先来了解下到底什么是混合检索，可能从我们以上综合提到了两个检索方式，也已经能推断出来了。没错，在RAG系统中，混合搜索最常见指向量检索和关键词检索的组合。混合检索是结合了两种或者多种搜索算法提高搜索结果相关性的搜索技术。RAG部分，我们陆陆续续分享了好几篇文章，从了解RAG到RAG与Fine tune的对比，再到RAG的实操：文档切片的方法、关键字检索、向量检索。
收藏！一文读懂文本召回技术：稀疏向量与稠密向量检索模型全解析
最新发布
2301_76168381的博客
11-05 289
本文对比分析了大模型RAG中的两类文本召回技术：稀疏向量模型（TF-IDF、BM25）通过词频统计实现关键词检索，其中BM25优化了词频饱和度和文本长度影响；稠密向量模型（BERT、GPT）利用深度神经网络捕捉语义信息，BERT的双向注意力适合语义理解，GPT的单向注意力侧重内容生成。混合检索结合两者优势，成为当前主流方案。文章还附赠大模型学习资源包，包含路线图、书籍、实战项目等，帮助读者掌握这一核心技术。
稠密向量检索、稀疏向量检索、BM25检索三者对比
Angus
09-17 9229
稠密向量检索，也称为Dense Retrieval，是一种基于深度学习的检索方法。它通过将文本转换为高维空间中的连续向量表示，然后使用向量相似度（如余弦相似度）来检索相关文档。这种方法的优势在于能够捕捉到文本的深层次语义信息，从而提高检索的相关性。技术实现：通常使用预训练的语言模型（如BERT、T5）对文档和查询进行编码，得到稠密的向量表示。应用场景：适用于需要理解复杂语义的场景，如自然语言理解、智能问答系统等。性能表现：在小规模数据集上表现优异，但在大规模数据集上可能会遇到性能瓶颈。
RAG专栏：混合检索
m0_37145844的博客
03-27 713
混合检索，又称融合检索 / 多路召回，是指在检索过程中同时采用多种检索方式，并将各类检索结果进行融合，从而得到最终的检索结果。混合检索的优势在于能够充分利用不同检索方式的优点，弥补各自的不足，从而提升检索的准确性和效率。
Milvus混合搜索检索器:结合稠密向量和稀疏向量的强大检索能力
bhawfgrcbtwny的博客
09-06 1698
Milvus混合搜索检索器是Milvus向量数据库提供的一个高级功能,它允许在单个查询中同时使用稠密向量和稀疏向量进行搜索。稠密向量:捕获文本的整体语义信息稀疏向量:保留关键词的重要性和频率信息通过混合这两种向量表示,检索器可以在语义相关性和关键词匹配之间取得平衡,从而提高检索的准确性和全面性。Milvus混合搜索检索器为开发者提供了一种强大的工具,可以在单一查询中结合稠密向量和稀疏向量的优势。这种方法不仅提高了检索的准确性,还增加了系统的灵活性。Milvus官方文档。
探索Milvus混合搜索：高效的密集与稀疏检索组合
aehrutktrjk的博客
10-08 890
Milvus的混合搜索检索器能够同时利用密集向量（dense vectors）和稀疏向量（sparse vectors）来进行数据检索。密集向量通常由神经网络模型生成，能够捕获文本的语义相似性，而稀疏向量则可通过传统的文本检索算法（如BM25）生成，更适合词频统计和关键词匹配。Milvus的混合搜索功能提供了强大的工具来处理各种复杂的检索需求。通过本文的示例，您可以初步了解如何实现和使用该功能。Milvus文档Langchain-Milvus GitHub仓库。
知识库检索方法详解：稀疏 vs 稠密；《第一篇》
guoguozgw的博客
06-03 594
类别方法原理简介工具平台稀疏检索TF-IDF基于词频和逆文档频率加权稀疏检索BM25改进 TF-IDF，引入长度归一RankBM25稠密检索DPRBERT 双塔结构稠密检索编码器转语义向量稠密检索ColBERTtoken 粒度匹配，Late Interaction。
RAG 稠密检索和稀疏检索
qq_36929638的博客
04-13 361
实际应用中，建议通过A/B测试确定最佳方案。例如，在电商场景下，混合检索可比单一方法提升15%的订单转化率。：电商搜索（短查询用BM25，长尾查询用DPR）：无需分数归一化，抑制单一方法的极端值。：用学习排序（LTR）动态调整权重。
大模型 | RAG 中的混合搜索：使用组合技术增强信息检索
star_nwe的博客
08-20 3228
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
Elasticsearch 混合搜索 - Hybrid Search
Elastic 中国社区官方博客
02-18 3934
在本系列关于向量搜索的最后一篇文章中，我们介绍了 Elasticsearch 支持的不同类型的混合搜索查询。一种选择是使用词汇搜索（例如，查询）和向量搜索（例如，knn）的组合；另一种方法是利用新引入的带有 sparse_vector 查询的 retriever 搜索选项。我们首先快速回顾了一下融合词汇和语义搜索结果以提高准确性的诸多优势。在此过程中，我们回顾了两种融合词汇和语义搜索结果的不同方法，即凸组合（CC）和倒数排序融合（RRF），并研究了它们各自的优缺点。
搜索中关于稀疏检索和稠密向量检索的召回效果比较
Angus
02-20 3505
不同检索方式说明最近在做搜索召回提升相关的研究工作。对比了稀疏检索和稠密向量检索的效果。其中使用的搜索引擎为elasticsearch8.x版本。稀疏检索包括BM25的检索方式，以及es官方在8.8之后版本提供的稀疏向量模型的方式。稠密向量检索，是指借助机器学习的模型做文本嵌入，然后用es8.x以后版本提供的向量检索。测试数据说明测试数据包括了中文和英文，涉及了法律和新闻数据。
大模型高级 RAG 检索策略之混合检索_rag混合检索
qingkahui24689的博客
11-05 2762
混合检索也叫融合检索，也叫多路召回，是指在检索过程中，同时使用多种检索方式，然后将多种检索结果进行融合，得到最终的检索结果。混合检索的优势在于可以充分利用多种检索方式的优势，弥补各种检索方式的不足，从而提高检索的准确性和效率，下面是混合检索的流程图：首先是问题查询，这一过程的设计可以简单也可以复杂，简单的做法是直接将原始查询传递给检索器，而复杂一点的做法是通过 LLM（大语言模型）为原始查询生成子查询或相似查询，然后再将生成后的查询传递给检索器。
混合检索技术及其在大模型应用中的关键作用
嗨，欢迎来到我的 优快云 博客小天地！一名深耕多年的技术发烧友。在这里，我将把日常工作中积累的宝贵经验，从复杂架构设计的精妙之处，到代码优化的实战技巧，毫无保留地分享给大家。
06-30 2512
混合检索技术及其在大模型应用中的关键作用
改进 Elastic Stack 中的信息检索：混合检索 - hybrid retrieval
Elastic 中国社区官方博客
07-14 2657
在中，我们介绍了 Elastic Learned Sparse Encoder，这是一种经过训练可有效进行零样本文本检索的模型。Elasticsearch® 还具有强大的词汇检索功能和丰富的工具来组合不同查询的结果。在本博客中，我们介绍了混合检索的概念，并探讨了 Elasticsearch 中可用的两种具体实现。
RAG稀疏稠密检索
07-30
在RAG（Retrieval-Augmented Generation）框架中，稀疏检索和稠密检索是两种关键的信息检索技术，它们各自有不同的特点和适用场景。 ### 稀疏检索 稀疏检索通常指的是基于关键词匹配的传统信息检索方法。在这种方法中，文档和查询都被表示为词频-逆文档频率（TF-IDF）向量或其他形式的高维稀疏向量。这些向量中的大部分元素都是零，因为每个文档或查询只包含词汇表中的一小部分词语[^1]。 **特点**： - 基于词汇重合度来评估查询与文档的相关性。 - 计算效率高，适合大规模数据集。 - 对于同义词和语义相似性的处理能力较弱。 **使用场景**： - 当需要快速处理大量文档时，例如在早期的搜索引擎中。 - 在计算资源有限的情况下，或者对实时性能有较高要求的应用场合。 ### 稀疏检索的代码示例 ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import linear_kernel # 示例文档集合 documents = ["The quick brown fox jumps over the lazy dog", "A fast brown fox leaps over a sleepy canine"] # 创建TF-IDF向量器 tfidf_vectorizer = TfidfVectorizer() # 转换文档到TF-IDF空间 tfidf_matrix = tfidf_vectorizer.fit_transform(documents) # 查询 query = "fast moving animal" # 将查询转换到相同的TF-IDF空间 query_tfidf = tfidf_vectorizer.transform([query]) # 计算查询与文档之间的余弦相似度 cosine_similarities = linear_kernel(query_tfidf, tfidf_matrix).flatten() # 输出最相关的文档索引 most_relevant_document_index = cosine_similarities.argmax() ``` ### 稀疏检索与稠密检索对比 | 特性 | 稀疏检索 | 稠密检索 | | --- | --- | --- | | 向量表示 | 高维且稀疏 | 低维且稠密 | | 相似度计算 | 主要依赖词汇重合 | 基于语义层面的相似性 | | 语义理解 | 较弱 | 较强 | | 计算复杂度 | 相对较低 | 相对较高 | ### 稀疏检索的扩展应用 除了传统的TF-IDF方法外，稀疏检索还可以结合其他技术来提升检索效果，比如通过生成相关问题来增强文档的可检索性，或是采用更精细的文本分片策略以更好地匹配用户的查询意图[^2]。 ### 稠密检索 稠密检索则利用深度学习模型将文本映射到一个低维的连续向量空间中，其中每个词、短语乃至整个句子都可以用一个稠密向量来表示。这种表示能够捕捉到词语间的语义关系，因此可以更准确地衡量查询与文档之间的相关性。 **特点**： - 使用神经网络模型（如BERT等预训练模型）生成文本嵌入。 - 向量是低维且稠密的。 - 能够有效处理同义词和上下文相关的语义变化。 **使用场景**： - 对于需要高质量语义匹配的任务，如问答系统、对话机器人等。 - 当数据集中存在大量的同义表达或者复杂的语言结构时。 ### 稠密检索的代码示例 ```python from transformers import BertTokenizer, BertModel import torch # 加载预训练的BERT模型和分词器 tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') def get_embedding(text): # 分词并转换为token IDs inputs = tokenizer(text, return_tensors="pt", padding=True, truncation=True) # 获取最后一层隐藏状态的平均池化作为句子嵌入 with torch.no_grad(): outputs = model(**inputs) return torch.mean(outputs.last_hidden_state, dim=1).squeeze() # 示例文档集合 documents = ["The quick brown fox jumps over the lazy dog", "A fast brown fox leaps over a sleepy canine"] # 获取文档嵌入 document_embeddings = [get_embedding(doc) for doc in documents] # 查询 query = "fast moving animal" # 获取查询嵌入 query_embedding = get_embedding(query) # 计算查询与文档之间的余弦相似度 cosine_similarities = [torch.nn.functional.cosine_similarity(query_embedding, doc_emb) for doc_emb in document_embeddings] # 输出最相关的文档索引 most_relevant_document_index = torch.argmax(torch.stack(cosine_similarities)) ``` ### 稀疏检索与稠密检索的选择 选择稀疏检索还是稠密检索取决于具体的应用需求和可用资源。如果追求更高的语义理解和匹配精度，并且有足够的计算资源支持，那么稠密检索可能是更好的选择。而对于那些对速度和资源消耗敏感的应用，稀疏检索可能更为合适。 ### 混合检索策略 有时为了达到最佳效果，会将稀疏检索与稠密检索结合起来形成混合检索策略。这样可以在一定程度上兼顾效率与准确性，同时利用两者的优势来提高整体的检索质量[^2]。 ### 文本分块策略 对于非常长的文档，直接进行检索可能会导致效率低下或效果不佳。这时可以采用文本分块策略，比如固定大小分块、内容感知分块、递归分块以及专门针对特定格式（如Markdown, HTML）的分块方法。通过这种方式，可以确保每个分块都能独立地被检索到，同时也能够保持上下文的相关性[^2]。 ### 查询转换策略 为了进一步提高检索的效果，还可以实施查询转换策略。这包括但不限于生成相关的提问、改写原始查询或是添加额外的信息以帮助检索系统更好地理解用户的意图。这样的策略有助于增加查询与文档之间潜在的相关性，从而提升最终的检索结果质量。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值