使用Elasticsearch和BM25实现高效文档检索

最新推荐文章于 2025-09-29 00:30:00 发布

原创

最新推荐文章于 2025-09-29 00:30:00 发布 · 609 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #jenkins #大数据 #python

在现代信息检索系统中，Elasticsearch是一个广泛应用的分布式搜索和分析引擎。而BM25，作为一种用于估算文档与查询相关性的排名函数，则是Elasticsearch中默认的评分算法之一。本文将深入探讨BM25的原理，并通过示例代码展示如何在Elasticsearch中使用BM25进行文档检索。

1. 技术背景介绍

Elasticsearch以其分布式、多租户、RESTful的特性，成为构建复杂搜索应用的首选解决方案。其全文本搜索能力极为强大，支持通过各种检索算法获得相关性极高的检索结果。BM25（Okapi BM25）是基于概率检索模型的排名函数，最早由伦敦城市大学的Okapi信息检索系统实现，常被用于搜索引擎中以优化文档的相关性排序。

2. 核心原理解析

BM25是一种基于TF-IDF的改进算法，主要通过以下公式进行文档评分：

[ \text{score}(D, Q) = \sum_{t \in Q} \text{idf}(t) \cdot \frac{f(t, D) \cdot (k1 + 1)}{f(t, D) + k1 \cdot (1 - b + b \cdot \frac{|D|}{\text{avgdl}})} ]

其中：

( f(t, D) ) 是词 ( t ) 在文档 ( D ) 中的出现频率。
( k1 ) 和 ( b ) 是可调参数。
( \text{avgdl} ) 是文档集合的平均文档长度。
( \text{idf}(t) ) 是倒排文档频率。

BM25考虑到了文档长度和词频对文档评分的影响，这使得该算法在各种搜索场景中表现优异。

3. 代码实现演示

下面的示例代码展示了如何使用Elasticsearch和BM25进行文档检索。

环境准备

首先确保安装了Elasticsearch客户端库：

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

VYSAHF

关注关注

3
点赞
踩
9

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

两种主流检索技术：BM25（基于关键词匹配）和向量相似度检索

Cachel Wood的博客

05-27

798

摘要：检索层是信息检索系统的核心模块，支持文本匹配、知识库检索和RAG（检索增强生成）等应用。主流技术包括BM25（基于关键词匹配）和向量相似度检索（基于语义向量）。 BM25作为无监督模型，通过词频统计和逆文档频率（IDF）计算文档相关性，适合短文本关键词检索（如电商搜索），具有高效、可解释性强的特点，但无法处理语义和长查询。示例代码展示了BM25的中文实现流程。对比：BM25依赖关键词匹配，轻量快速；向量检索捕捉语义但需预训练模型。两者适用于不同场景，如传统搜索（BM25）或语义敏感任务（向量检索）

了解 BM25：一种高效的文本检索算法

Harry的博客

01-17

8294

BM25 是一个经典且实用的文本检索算法，它不仅具备高效的性能，还可以轻松适配各种实际应用场景。如果你正在构建搜索或推荐系统，BM25 是一个值得探索的工具！虽然 BM25 在许多应用中表现优异，但它的缺点表明，单独使用 BM25 并不能完全满足现代信息检索需求。在实际项目中，常常需要将 BM25 与其他技术（如深度学习模型）结合使用，以弥补其在语义理解、上下文建模和动态适应性方面的不足。k_1bk_1b。

参与评论您还未登录，请先登录后发表或查看评论

BM25 检索是什么

码事漫谈

09-29

966

BM25 是一种用于信息检索的概率性排序函数，它用于估算文档与查询的相关性分数。它是经典的TF-IDF方案的进化，但效果通常更好，是现代搜索引擎中的基石算法之一（尽管很多最新系统已经转向基于神经网络的模型，但 BM25 依然是一个强大且高效的基线）。

深入解析BM25：LangChain中的高效检索算法

AI Agent 首席体验官

03-19

1460

BM25是信息检索领域中一个重要的排序算法，它用来计算查询与文档之间的相关性。让我们通过一个图书馆的例子来理解：想象你是一个图书馆管理员，有人来问你：“我想找关于太空探索和火星的书”。：就像你先数一数每本书中"太空探索"和"火星"这些词出现的次数，然后优先推荐这些词出现最多的书。但这有个问题：如果一本1000页的书和一本100页的书都提到"火星"10次，按理说短书中这个词更重要，但简单计数无法体现这点。：BM25认为一个词出现次数多不等于无限重要。

探索ElasticSearch中的BM25算法：提升全文检索效果的新利器

jaioyfpo的博客

10-08

734

BM25作为全文检索的基础算法，在ElasticSearch中扮演着重要角色。掌握其原理和使用方法，可以显著提升搜索系统的性能。有关BM25更深入的内容，可以参考以下学习资源。

Elasticsearch：BM25 及使用 Elasticsearch 和 LangChain 的自查询检索器

Elastic 中国社区官方博客

02-06

5164

本工作簿演示了 Elasticsearch 的自查询检索器将非结构化查询转换为结构化查询的示例，我们将其用于 BM25 示例。在这个例子中：如果你还没有安装好自己的 Elasticsearch 及 Kibana，请参考文章：如果你还没有安装好自己的 Elasticsearch 及 Kibana，那么请参考一下的文章来进行安装：如何在 Linux，MacOS 及 Windows 上进行安装 ElasticsearchKibana：如何在 Linux，MacOS 及 Windows 上安装 Elastic 栈中

使用ElasticSearch和BM25进行高效文档检索

scaFHIO的博客

03-12

423

Elasticsearch 是一个分布式的RESTful搜索和分析引擎，广泛应用于全文搜索场景。与此同时，Okapi BM25 是一种用于评估文档与搜索查询相关性的排名函数，基于概率检索框架。BM25是在20世纪70年代和80年代由Stephen E. Robertson和Karen Spärck Jones等人开发的。如同TF-IDF，BM25是一种常用的检索模型，它通过调整多个参数来提升搜索结果的相关性。在本篇文章中，我们将展示如何结合Elasticsearch和BM25来实现高效文档检索。

深入理解ElasticSearch的BM25算法：实现高效文本检索

tt_jishu的博客

11-19

1051

BM25（Best Matching 25）是基于概率检索框架的排名函数，它通过评估文档与查询词的匹配程度来估计文档的相关性。BM25在20世纪70年代和80年代由Stephen E. Robertson和Karen Spärck Jones等人开发，它可以视为TF-IDF（词频-逆文档频率）模型的改进。通过理解和应用BM25，开发者可以显著提升文档检索的相关性，特别是在使用ElasticSearch的场景中。ElasticSearch官方文档。

利用Elasticsearch和BM25实现高效搜索

bBADAS的博客

02-20

404

Elasticsearch是一款分布式的、RESTful的搜索和分析引擎。它提供了一个支持多租户的分布式全文搜索引擎，具有HTTP web接口和无模式的JSON文档存储。在信息检索领域，Okapi BM25是由Stephen E. Robertson, Karen Spärck Jones等人于20世纪70年代开发的一种排名函数，用于评估文档与查询的相关性。BM25是基于概率检索框架的检索函数，并且是基于TF-IDF的类似于文档检索的函数。

深入浅出ElasticSearch BM25：实现最佳匹配搜索

jaioyfpo的博客

10-18

806

BM25是一种基于概率检索框架的排名函数，旨在衡量文档与给定查询之间的相关性。它是TF-IDF的改进版本，广泛用于搜索引擎排名。BM25作为一款强大的排名算法，在ElasticSearch中提供了优化的相关性检索功能。通过合理的参数调整和数据准备，可以显著提升搜索结果的准确性。建议进一步阅读ElasticSearch官方文档，深入了解BM25及其配置。

科普一下Elasticsearch中BM25算法的使用

醉鱼的博客

07-16

2925

与BM25算法相比，TF-IDF算法没有考虑文档长度和查询长度的影响，因此在处理长文档和短查询时可能会出现评分偏低的问题。在Elasticsearch中，BM25是一种常用的文本相似度评分算法，用于计算查询和文档之间的相关性。BM25算法的核心思想是根据查询词项在文档中出现的频率和文档中的词汇分布来计算文档的相关性。BM25（Best Match 25）：BM25是一种基于TF和IDF的改进算法，它考虑了词频和文档频率，并引入了一些调整参数，以提高搜索结果的质量。较短的字段可能更相关，因此分数较高。

BM25算法基本使用以及在RAG中的应用

zg_hover的专栏

02-23

2071

BM25算法被多种RAG开源框架和向量库的向量查询中提到或使用到。本文介绍BM25算法的基本原理，并通过一个可运行的例子来说明如何使用BM25算法。 BM25（Best Match 25）是一种用于信息检索的概率模型，常用于搜索引擎和问答系统中。在RAG（Retrieval-Augmented Generation）框架中，BM25用于从大规模文档库中检索与查询最相关的文档。 BM25基于词频（TF）和逆文档频率（IDF）计算文档与查询的相关性，结合了文档长度归一化，能够有效处理不同长度的文档。

自然语言处理-搜索中常用的bm25

IT届的小学生

11-22

1431

bm25_pt：实现高效文本检索的核心功能

gitblog_00273的博客

06-27

263

bm25_pt：实现高效文本检索的核心功能项目介绍 bm25_pt 是一个基于 PyTorch 实现的 Okapi BM25 算法的最小化版本。BM25 是一种用于文本检索的排名函数，它根据文档中的词频（TF）和逆文档频率（IDF）来计算文档与查询之间的相关性得分。该算法被广泛应用于搜索引擎、推荐系统等领域。bm25_pt 通过集成 HuggingFace 的 tokenizers，使得文本处理...

BM25检索算法 python

消极的人永远是对的，积极的人选择勇往直前

04-23

5123

BM25（Best Matching 25）是一种经典的信息检索算法，是基于 TF-IDF算法的改进版本，旨在解决、TF-IDF算法的一些不足之处。其被广泛应用于信息检索领域的排名函数，用于估计文档D与用户查询Q之间的相关性。它是一种基于概率检索框架的改进，特别是在处理长文档和短查询时表现出色。BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。目前被广泛运用的搜索引擎ES就内置了BM25算法进行全文检索。

如何使用BM25算法检索出最相关的序列

行步至春深

03-09

2275

两个步骤：1)将准备好的demo pool传给BM25okapi，这个过程会得到一个将哈希映射到序列的缓存字典 2)使用实例化后的BM25okapi，传入query，得到最相似的n个demo的哈希，再使用上一步得到的字典映射回序列。

BM25对于结构化摘要的优化

m0_37547070的博客

06-04

921

BM25算法典型用法众所周知，BM25通常用来做搜索相关性评分上图的三个公式表示了BM25的一个典型用法，用来计算一个文档与我们所搜索的query的相关性。权值Wi，在这里通常用IDF来表示，即对于每一个词语，如果这个词在整个文档集合中，包含这个词的文档数越多，那么这个词所占的权重就越

es向量检索bm25实现意图分类

最新发布

10-17

<think>首先，用户的问题是如何使用Elasticsearch（ES）通过向量检索和BM25算法实现意图分类。用户提供了几个引用：[^1]、[^2]、[^3]，这些是关于BM25、向量检索和混合搜索的信息。关键点： - 引用[^1]讨论了BM25算法在Elasticsearch中的重要性。 - 引用[^2]提到了BM25和向量检索的应用案例，如搜索引擎和智能问答系统。 - 引用[^3]介绍了Elasticsearch中的混合搜索，结合BM25和HNSW（用于向量检索）。用户的问题是关于实现意图分类的。意图分类通常涉及判断用户的查询属于哪个类别，比如在聊天机器人中理解用户意图。在Elasticsearch中，结合向量检索和BM25算法实现意图分类的基本思路： 1. **向量检索**：使用文本嵌入（embeddings）来表示文本的语义信息。Elasticsearch支持向量检索，例如通过HNSW索引处理密集向量。 2. **BM25算法**：传统的相关性评分算法，用于基于关键词的检索。 3. **混合搜索**：结合两者，Elasticsearch提供了混合搜索功能，可以将BM25用于文本匹配和向量检索用于语义相似度计算。步骤来实现意图分类： - **数据准备**：需要有一个意图分类的数据集。每个意图类别有示例查询或文本。 - **索引结构**：在Elasticsearch中创建索引，存储文本数据及其向量表示，以及类别标签。 - **查询处理**：当有新的查询时： - 使用BM25进行关键词匹配，找到相关文档。 - 使用向量检索计算查询向量与文档向量的相似度。 - 结合两者的分数进行排序或分类。 - **意图分类**：基于搜索结果，可以预测查询的意图类别。例如，取得分最高的文档的类别作为预测。具体方法： - **特征提取**：使用预训练模型（如BERT）生成查询和文档的向量嵌入。 - **混合搜索**：Elasticsearch的混合搜索允许同时使用全文搜索（BM25）和kNN搜索（向量检索）。然后合并分数。 - **后处理**：搜索后，根据排名最高的文档确定意图类别。参考用户提供的引用： - [^3]直接提到了Elasticsearch中的混合搜索，结合BM25和HNSW。 - 意图分类可以看作是检索任务的一部分，其中文档是意图类别的示例。回答结构： - **清晰结构**：逐步解释如何实现。 - **使用中文**：所有内容用中文。 - **LaTeX格式化**：数学表达式用$...$或$$...$$。 - **生成相关问题**：在末尾添加相关问题。 - **引用标识**：在相关段落末尾添加引用标识，如[^1]。大纲回答： 1. **介绍意图分类和ES的作用**：简要解释意图分类及其在ES中的实现。 2. **步骤实现混合搜索**： - 准备数据和索引。 - 使用BM25和向量检索。 - 结合分数进行分类。 3. **示例或代码片段**：如果可能，提供伪代码或ES查询示例。 4. **总结**：强调优势。 5. **相关问题**：生成相关问题。确保真实可靠：基于一般知识，ES确实支持这些功能。相关问题生成： - 与意图分类、混合搜索相关的问题。 </think>### Elasticsearch结合向量检索与BM25算法实现意图分类的方法意图分类是自然语言处理中的关键任务，旨在识别用户查询的语义意图（如“购物”、“支持”或“查询信息”）。在Elasticsearch（ES）中，结合向量检索和BM25算法可以通过混合搜索（Hybrid Search）实现高效的意图分类。这种方法利用BM25进行关键词匹配，同时使用向量检索捕捉语义相似度，从而提升分类准确性和鲁棒性。以下是逐步实现方法，基于Elasticsearch的功能和您的引用信息（特别是混合搜索的讨论[^3]）。 --- ### 1. **理解意图分类的混合搜索原理** 在ES中，意图分类可视为一个检索问题： - **BM25算法**：专注于关键词匹配，根据查询中的术语频率和文档长度计算相关性得分。它高效处理显式关键词，但不擅长处理语义变体（如同义词或抽象表达）[^1]。 - **向量检索**：使用文本嵌入（如BERT或Word2Vec生成的密集向量）计算语义相似度。例如，通过HNSW（Hierarchical Navigable Small World）索引加速k近邻（kNN）搜索。 - **混合搜索**：结合BM25和向量检索的分数，通过加权或归一化合并结果。这使得ES能同时利用关键词和语义信息，更适合意图分类场景（如用户查询“我想买手机”应归类到“购物”意图）[^3]。数学上，混合得分可表示为： $$S_{\text{hybrid}} = \alpha \cdot S_{\text{BM25}} + \beta \cdot S_{\text{vector}}$$ 其中： - $S_{\text{BM25}}$ 是BM25得分（基于Okapi BM25公式）。 - $S_{\text{vector}}$ 是向量相似度得分（如余弦相似度）。 - $\alpha$ 和 $\beta$ 是权重系数（通常需调优，例如 $\alpha = 0.6$, $\beta = 0.4$ 以平衡关键词和语义）。这种方法在意图分类中优势明显：BM25处理显式意图关键词（如“购买”），向量检索处理隐含语义（如“下单”或“购物车”），共同提升分类精度[^2][^3]。 --- ### 2. **实现步骤（基于Elasticsearch 8.x+版本）** Elasticsearch原生支持混合搜索（通过`knn`和`query`参数）。以下是实现意图分类的详细步骤： #### **步骤1: 数据准备与索引创建** - **数据集**：收集意图分类的训练数据，每个意图类别（如“购物”、“支持”、“娱乐”）包含多个示例查询。 - 示例数据格式： ```json [ {"query": "如何购买iPhone", "intent": "购物", "embedding": [0.1, -0.2, ...]}, // 文本向量由预训练模型生成 {"query": "客服联系方式", "intent": "支持", "embedding": [0.3, 0.5, ...]}, ... ] ``` - **索引映射**：在ES中定义索引，包含BM25文本字段和向量字段。 - 使用ES的`dense_vector`类型存储嵌入向量（维度需匹配模型，如384维）。 - 示例创建索引的请求： ```json PUT /intent_classification_index { "mappings": { "properties": { "query": { "type": "text" }, // 用于BM25搜索 "intent": { "type": "keyword" }, // 类别标签 "embedding": { "type": "dense_vector", // 向量字段 "dims": 384, // 假设使用sentence-transformers模型 "index": true, // 启用HNSW索引 "similarity": "cosine" // 相似度计算方式 } } } } ``` #### **步骤2: 插入数据并生成向量** - **向量生成**：使用预训练模型（如`sentence-transformers/all-MiniLM-L6-v2`）将查询文本转换为向量。可通过Python脚本批量处理： ```python from sentence_transformers import SentenceTransformer model = SentenceTransformer('all-MiniLM-L6-v2') embeddings = model.encode(['如何购买iPhone', '客服联系方式']) // 生成向量 # 然后插入ES索引（使用Bulk API） ``` - **数据插入**：确保每个文档包含`query`（文本）、`intent`（类别）和`embedding`（向量）字段。 #### **步骤3: 执行混合搜索查询** 当新查询到来时（如“购买手机的价格”），执行混合搜索： - **向量检索**：计算查询的嵌入向量，并在ES中搜索k近邻文档。 - **BM25检索**：同时执行全文搜索。 - **混合查询**：使用ES的`knn`和`query`参数合并两者，并进行加权评分。 - 示例查询请求： ```json POST /intent_classification_index/_search { "knn": { "field": "embedding", "query_vector": [0.05, -0.1, ...], // 新查询的向量 "k": 10, // 返回近邻文档数 "num_candidates": 100, // HNSW候选数 "boost": 0.4 // 向量权重β }, "query": { "match": { "query": "购买手机的价格" // BM25搜索 } }, "boost": 0.6, // BM25权重α "size": 1, // 返回top结果用于分类 "_source": ["intent"] // 只返回意图标签 } ``` - **分数合并**：ES自动归一化并合并$S_{\text{BM25}}$和$S_{\text{vector}}$，输出最终得分排序。 #### **步骤4: 意图预测与后处理** - **预测意图**：取搜索结果的top文档（如top1），其`intent`字段即为预测类别（如“购物”）。 - **置信度阈值**：添加后处理逻辑，如设置得分阈值（例如$S_{\text{hybrid}} > 0.7$），低于阈值则归类为“未知意图”。 - **性能优化**： - **权重调优**：通过交叉验证调整$\alpha$和$\beta$（例如使用网格搜索）。 - **模型选择**：向量模型影响语义理解；小型模型（如MiniLM）适合实时分类，大型模型（如BERT）提升精度但有延迟[^2]。 - **索引优化**：启用HNSW索引加速向量检索，确保BM25字段使用适当分析器（如ik中文分词器）。 #### **优势与挑战** - **优势**： - **高效性**：BM25快速过滤候选，向量检索捕捉语义，减少误分类（如区分“苹果价格”是水果购物还是科技产品）。 - **可扩展性**：ES处理大规模数据，支持实时分类（延迟<100ms）。 - **用例适用**：适用于聊天机器人、客服系统等场景[^2][^3]。 - **挑战**： - 数据质量：需要高质量标注数据训练向量模型。 - 参数调优：权重$\alpha$和$\beta$需基于业务数据优化（可使用Elasticsearch的Ranking Evaluation API）。 --- ### 总结通过Elasticsearch的混合搜索，结合BM25的关键词匹配能力和向量检索的语义理解，可以实现高效的意图分类。此方法在工业界广泛应用（如智能问答系统[^2]），并可通过ES的API快速部署。关键是根据具体场景调整混合权重和数据处理流程，以平衡精度和效率[^3]。