【解决方案】RAG实践：ES混合搜索BM25+kNN(cosine)

已于 2025-01-30 15:43:10 修改
阅读量2.8k 收藏 29
点赞数 25
分类专栏： # ElasticSearch 解决方案 文章标签： elasticsearch RAG 混合搜索 LLM 大模型
于 2024-07-07 00:28:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Xin_101/article/details/140230948
版权

1 缘起

最近在研究与应用混合搜索，
存储介质为ES，ES作为大佬牌数据库，
非常友好地支持关键词检索和向量检索，
当然，支持混合检索（关键词检索+向量检索），
是提升LLM响应质量RAG(Retrieval-augmented Generation)的一种技术手段，
那么，如何通过ES实现混合搜索呢？
请看本篇文章。

本系列分为两大部分：实践和理论。
先讲实践，应对快速开发迭代，可快速上手实践；
再讲理论，应对优化，如归一化。

RAG理论：ES混合搜索BM25+kNN(cosine)以及归一化https://blog.youkuaiyun.com/Xin_101/article/details/140237669

了解本专栏 订阅专栏 解锁全文
ES集群多向量字段检索及混合检索方法
NLP与推荐算法
04-18 222
确保在索引映射中正确声明两个字段，假设每个字段的维度为768：},ES支持存储和检索多个向量字段，通过实现多向量联合检索。若需高性能，可评估数据规模后选择混合方案（如近似kNN过滤+脚本精排），或关注ES后续版本对多向量kNN的原生支持。
全面理解与实战 RAG 技术：原理剖析 + LangChain + LlamaIndex + Rerank 最佳实践
最新发布
未名编程
05-14 1231
RAG（Retrieval-Augmented Generation）是一种结合检索系统与生成模型的技术，旨在解决大语言模型（LLM）在知识截止、内容幻觉和用户定制等方面的局限性。RAG通过检索器从知识库中获取相关内容，再由生成器生成自然语言答案，实现了“开卷考试”的效果。其技术堆栈包括数据准备、索引存储、检索器、增强层、生成器和应用接口层。向量检索是RAG的基础，通过Embedding将文本编码为向量，利用向量数据库进行相似度搜索。Chunking策略和Reranker技术进一步提升了检索精度。LangC
使用ElasticSearch完成大模型+本地知识库：BM25+Embedding模型+Learned Sparse Encoder 新特性
weixin_50845368的博客
12-03 4221
作者Bernhard Suhm 伯恩哈德·苏姆2023年7月3日Maybe you came across the term “vector database” and are wondering whether it’s the new kid on the block of data retrieval systems. Maybe you are confused by conflicting claims about vector databases. The truth is, the appro
Elasticsearch：混合搜索是 GenAI 应用的未来
Elastic 中国社区官方博客
02-11 2460
全文搜索是一种在大量文本数据中查找特定信息的强大技术。与仅查找精确匹配的简单关键字搜索不同，全文搜索会分析文档的整个文本并了解查询的上下文。这使得它能够找到相关结果，即使查询不使用你搜索的确切关键字。这是它的工作原理索引。当你将文本数据添加到支持全文搜索的系统时，系统首先创建索引。该索引就像文本的详细地图，列出了它包含的所有单词和短语以及它们出现的位置。查询。执行全文搜索时，你输入包含关键字或短语的查询。然后，系统在索引中搜索包含全部或部分查询词的文档。排名。
Elasticsearch：结合两全其美：Elasticsearch 与 BM25 和 HNSW 的混合搜索
Elastic 中国社区官方博客
05-07 5057
在此示例中，我们为 BM25 和 HNSW 使用了 0.9 和 0.1 的权重，但你可以尝试使用不同的权重来找到适合你的数据和搜索场景的最佳平衡点。总之，Elasticsearch 中的混合搜索是一种强大的技术，可以结合不同搜索算法的优势，以实现更好的搜索准确性和效率。不同的算法在不同的场景下效果更好，有时需要算法的组合才能达到最好的效果。在 Elasticsearch 中，一种流行的组合搜索算法的方法是使用混合搜索，将用于文本搜索的 BM25 算法与用于最近邻搜索的 HNSW 算法相结合。
Elasticsearch 混合搜索 - Hybrid Search
Elastic 中国社区官方博客
02-18 2484
在本系列关于向量搜索的最后一篇文章中，我们介绍了 Elasticsearch 支持的不同类型的混合搜索查询。一种选择是使用词汇搜索（例如，查询）和向量搜索（例如，knn）的组合；另一种方法是利用新引入的带有 sparse_vector 查询的 retriever 搜索选项。我们首先快速回顾了一下融合词汇和语义搜索结果以提高准确性的诸多优势。在此过程中，我们回顾了两种融合词汇和语义搜索结果的不同方法，即凸组合（CC）和倒数排序融合（RRF），并研究了它们各自的优缺点。
【解决方案】RAG理论：ES混合搜索BM25+kNN(cosine)以及归一化
天然玩家的博客
07-07 2090
（1）ES中如何通过BM25计算关键词搜索分数； （2）kNN如何通过consine计算语义/向量搜索**最终**分数，不是直接使用consine距离； （3）**混合搜索最终得分**是如何计算的，如何进行归一化优化。
ES混合检索
技术引领业务创新
03-05 1002
2024年06月上线 ES 8.13.3版本，该版本在向量检索、NLP能力等方面表现更优。为AI革命提供高级搜索能力！腾讯云大数据ES国内首发上线8.8.1版本利用Elasticsearch作为向量数据库，有效地创建、存储和搜索密集向量。提供图索引，通过HNSW以实现高效的最近邻搜索；支持端到端的向量生成、向量索引、向量相似性比较，无需额外的平台进行向量推理；一体化的搜索体验：多路召回混合打分、Faceting聚合分析能力、基于角色的访问控制；
es混合检索与langchain检索增强
峰
11-04 2470
Elasticsearch全文检索，混合检索，向量检索，语义检索，kNN检索，rrf重排，langchain检索增强
Elasticsearch 混合检索优化大模型 RAG 任务
这个人很懒什么都没有~
04-16 2880
Elastic 社区在自然语言处理上面做的很不错官方博客更新速度也很快，现阶段大模型的应用场景主要在 Rag 和 Agent 上，国内 Rag（Retrieval-Augmented Generation 检索增强生成） 的尤其多，而搜索对于 Elasticsearch 来说是强项特别是 8.9 之后的版本提供了 ESRE 模块（集成了高级相关性排序如 BM25f、强大的矢量数据库、自然语言处理技术、与第三方模型如 GPT-3 和 GPT-4 的集成，并支持开发者自定义模型与应用），经过我的各种尝试在 El
es的相关性算分-BM25算法：词频超过一定数量，超过的那部分不进行算分
Hiber12的博客
12-18 1799
相关性算分：指文档与查询语句间的相关度，通过倒排索引可以获取与查询语句相匹配的文档列表 如何将最符合用户查询需求的文档放到前列呢？ 本质问题是一个排序的问题，排序的依据是相关性算分，确定倒排索引哪个文档排在前面 影响相关度算分的参数： 1、TF(Term Frequency)：词频，即单词在文档中出现的次数，词频越高，相关度越高 2、Document Frequency(DF)：文档词频，即单词出现的文档数 3、IDF(Inverse Document Frequency)：逆向文档词频，与文档词频相反，.
基于BM25、BGE检索算法的检索增强生成RAG示例，支持OpenAI风格的大模型服务.zip
05-20
基于BM25、BGE检索算法的检索增强生成RAG示例，支持OpenAI风格的大模型服务.zip
大模型RAG实战｜混合检索：BM25检索+向量检索的LlamaIndex实现
mama19971023的博客
08-06 4921
目前，大模型RAG系统中普遍采用混合检索来提升检索准确性。针对要回答的问题，同时通过。
大模型RAG实战｜向量数据库：Elasticsearch实现混合检索（附完整代码）
python123456_的博客
08-28 2824
大模型RAG实战系列文章，带你深入探索使用LlamaIndex框架，构建本地大模型知识库问答系统。本系列涵盖知识库管理、检索优化、模型本地部署等主题，通过代码与实例，讲解如何打造生产级系统，实现本地知识库的快速检索与智能问答。此前文章中，我介绍了使用LlamaIndex，如何构建知识库，实现各类文档和网页的加载、转换、索引与存储。当时，我们采用的向量数据库是，作为LlamaIndex中的向量存储（Vector Store）。Chroma是一个非常简单易用的嵌入式向量数据库，在开发和测试场景非常受欢迎。
改进 Elastic Stack 中的信息检索：混合检索 - hybrid retrieval
Elastic 中国社区官方博客
07-14 2242
在中，我们介绍了 Elastic Learned Sparse Encoder，这是一种经过训练可有效进行零样本文本检索的模型。Elasticsearch® 还具有强大的词汇检索功能和丰富的工具来组合不同查询的结果。在本博客中，我们介绍了混合检索的概念，并探讨了 Elasticsearch 中可用的两种具体实现。
es混合检索与langchain检索增强_langchain ensembleretriever
2401_84160310的博客
04-15 431
【代码】es混合检索与langchain检索增强_langchain ensembleretriever。
es混合检索与langchain检索增强_langchain ensembleretriever(1)
2401_84159688的博客
04-16 536
【代码】es混合检索与langchain检索增强_langchain ensembleretriever(1)
ES 8.14 Java 代码调用，增加knnSearch 和 混合检索 mixSearch
wangqiaowq的博客
06-14 745
3、EsService 主要 增加knnSearch 和 混合检索 mixSearch。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天然玩家

坚持才能做到极致

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值