相关度算法BM25

最新推荐文章于 2025-05-19 21:18:57 发布
原创 最新推荐文章于 2025-05-19 21:18:57 发布 · 781 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#搜索

BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
丨汀、的博客
01-08 2512
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
相关性算法--Elasticsearch相关性算法
Madala_的博客
07-23 2818
Elasticsearch相关性算法 Elasticsearch相关性算法主要分为三大部分：布尔模型，TF/IDF，向量空间模型 布尔模型：and，or，not根据这些条件来匹配文档，判断搜索词是否在文档中。 TF/IDF：相关性算法--TF/IDF 这篇文章里已经介绍了相关内容，计算词频的一种方法。 空间向量模型：每个词的在文档的集合中都有自己的权重，比如词A的权重为2，词B的权重为5，...
Elasticsearch 之（22） 自定义相关度分数算法 和 常见的相关度分数优化方法
vincent
05-24 6832
前言之前《lucene的相关度评分TF&IDF算法以及向量空间模型算法》，已经很了解整个es的相关度评分的算法了，算法思想，TF/IDF，vector model，boolean model; 实际的公式，query norm，query coordination，boost。自定义相关度分数算法我们可以做到自定义一个function_score函数，自己将某个field的值，跟es内置算...
Elasticsearch相关度评分算法（三）：BM25（Okapi BM25）
Elastic开源社区
05-17 4727
文章目录1、引言2、相关度概率模型3、Okapi BM25 函数3.1 逆文档频率：IDF(qi)IDF(q_i)IDF(qi​)3.1.1 函数公式及参数3.1.2 函数曲线3.1.3 总结3.2 词频相关性函数：S(qi,D)S(q_i,D)S(qi​,D)3.2.1 函数及参数3.2.2 相关性曲线3.2.3 k1k_1k1​值的作用：3.3 文档长度相关性：KKK4、最终函数公式 1、引言 BM25（全称：Okapi BM25） 其中 BM 指的 Best Matching 的缩写，是搜索引擎常用的
BM25算法：搜索引擎文本相关性匹配的经典模型解析
最新发布
2501_91651657的博客
05-19 648
具体来说，先计算每个查询词 q_i 的 IDF(q_i)，再根据上述公式计算 f(q_i, D) 与其他参数结合后的分数，最后将所有查询词的得分贡献累加起来，得到文档 D 与查询 Q 的最终相关性得分 Score(Q, D)。◦ IDF(q_i) 是词 q_i 的逆文档频率，用于衡量词的重要性，IDF(q_i) = \ln\frac{N - n(q_i) + 0.5}{n(q_i) + 0.5}，其中 N 是文档集合中文档的总数，n(q_i) 是包含词 q_i 的文档数量；
Elasticsearch -- 相关度算法
weixin_42061487的博客
10-08 292
相关度算法:TF/IDF 算法 （term frequery / inverse document frequery） term frequery：(搜索文本中出现了多少次，出现次数越多，就越相关) 搜索请求:hello world doc1:hello you ,and world is very good doc2:hello,how are you inverse document fr...
Elasticsearch相关度评分算法
不见其长，日有所长
11-12 2279
1. 相关度评分算法的组成 对于Elasticsearch而言，相关度评分的计算规则通过三部分组成: boolean model，TF/IDF，Vector space model。这三个部分没有所谓的权重，它们是平等的，计算时逐层推进。 1.1 boolean model boolean model是相关度分数计算的第一步操作。 Elasticsearch搜索时，首先根据搜索条件，过滤出符合条件的document，此时Elasticsearch不会做任何的相关度分数计算，仅仅只记录true或false，标
55.TF/IDF算法
anlanmo0960的博客
02-26 193
主要知识点： TF/IDF算法介绍 查看es计算_source的过程及各词条的分数 查看一个document是如何被匹配到的 一、算法介绍 relevance score算法，简单来说，就是计算出，一个索引中的文本，与搜索文本，他们之间的关联匹配程度。Elasticsearch使用的是 term frequency/inver...
搜索引擎相关度算法 -BM25 JAVA实现
千丈之松的专栏
05-28 1074
bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模型提出的算法。 它的出现主要是解决TF-IDF算法中 TF的影响可无限增大的不足，本质上BM25是基于TF-IDF并做了改进的算法。 如图所示，传统的TF-IDF算法中 词频的影响程度是无限增大的，换而言之就是关键词出现的越频繁，TF-IDF相关度就越高。稍微有点简单粗暴；而BM25算法就是让词频的影响到达一定程度后趋于收敛，相比而已更加符合自然语言相关程度的实际逻辑。 参考： 《搜索中的权重度量利器: TF-IDF和BM.
基于python的BM25文本匹配算法实现+源代码+文档说明
12-01
BM25算法原理参见我的博文：[【NLP】非监督文本匹配算法——BM25] 测试程序： ```python bm25 = BM25() result = bm25.cal_similarity("自然语言处理并不是一般地研究自然语言") for line, score in result: ...
搜索相关度算法 TF-IDF与BM25
U5years的博客
12-22 897
TF-IDF VS BM25 在ES5.0版本之前，ES一直用的是TF-IDF来进行相关度算分；在5.0后的版本，ES换成了BM25版本。本文将从算法设计的角度，先介绍两个算法，再结合ES来尝试分析一下各自的优缺点。 算法介绍 TF-IDF和BM25都是用作ES中排序依据的核心部分，它们是组成Lucene中“field weight”的部分，“field weight”用来评测的是search t...
相似度算法;人群标签推荐
06-12
a=[01,02,04,06],b=[09.08,04,07].计算a,b的相似度。用户门户网站推荐,根据个人行为推荐。
Solr基础理论【相关度计算】
weixin_30933531的博客
09-03 366
一.简介　　 　　寻找匹配的文档是构建优质搜索体验的关键步骤，但这仅仅是第一步。大多数用户不愿意通过逐页翻阅搜索结果来找到想要的文档。根据一般经验，仅有10%的用户在网页搜索中有意愿继续翻阅第一页以后的搜索结果，仅有1%的用户会翻看到第三页结果。Solr实现了搜索结果排序，最佳的结果位于列表顶端。它会计算每个文档的相关度得分，并从高到低对搜索解决进行排序。 二.默认相似度 　　so...
相关分析算法描述
weixin_45006604的博客
07-05 6742
三种相关分析算法各有其适用场景和优缺点。皮尔逊相关系数适用于连续变量间的线性相关分析；斯皮尔曼秩相关系数对数据分布没有严格要求，适用范围广且对异常值具有更好的稳健性；肯德尔秩相关系数则专门用于有序分类变量或等级数据的相关性分析。在实际应用中，应根据数据的特性和研究目的选择合适的相关性分析方法。
搜索引擎中相关性算法的研究
厚积薄发的博客
07-31 1571
1.什么是搜索的相关性 搜索相关性是衡量查询语句与文档之间的相关的程度。例如 ES中对每个匹配查询都会有对应的得分_score 2.什么是打分,得分是怎么产生的 打分的本质是排序。把最符合用户需求的文档排在前面。ES5之前使用的是tf-idf ,ES5 之后使用的是bm25 3.tf-idf算法介绍 tf term frequency 查询的文本的词条在document中出现的次数，出现次数越高，相关度越高 idf inverse doc...
搜索相关性算法在 DiDi Food 中的搜索
DiDi_Tech的博客
05-22 2173
导读：今天给大家分享的主题是搜索匹配问题在 DiDi Food 中的一些探索与应用。本文首先介绍了搜索相关性的一些背景，之后介绍了业界常见的三种匹配模型，以及在DiDi Food业务中的模型效果对比。 匹配模型包括：1. 基于表征的深度匹配模型；2. 基于交互的深度匹配模型；3. 同时基于表征与交互的深度模型。文章最后会介绍目前搜索匹配算法在 DiDi Food 业务中的一些效果。 1. 搜索相关性 搜索相关性模型本质上是一个匹配的过程，即用户通过一个具体请求，例如发送一个 query 来抽取想要得到..
搜索引擎、相关性算法的测试
weixin_30387423的博客
07-07 165
1，对于不易重现问题的应对思路。可以为每一个起始的处理过程都分配一个traceid，然后分析与这个traceid相关的所有log，来还原整个处理过程。2，测试旁路。引入线上流量到线下的测试环境，用以验证线下功能有没有大的问题，这一部分处理结果会被抛弃。3，快速搭建依赖mock环境的实践。这个是用ICE这样的中间件就可以比较轻松的达到这个目标，这样就可以在单机上模拟一个真实的环境。4，数据采集（应用...
搜索相关性
weixin_33698823的博客
03-27 548
今天学习了同事总结的搜索相关性计算方法，整理如下： 相关性指搜索query和页面之间的相关程度，衡量的维度有：文本相关性、权威性、查询需求满足。其中权威性要求同等条件下选择更优质、权威的结果；需求满足侧重了搜索个性化，同一个搜索词有多种不同含义，搜索引擎应该能够分析出用户的意图和需求，然后返回适合的结果。 常用的文本相关性模型有TF*IDF模型，TF:term fre...
bm25算法
03-12
<think>好的，我现在需要详细解释BM25算法的介绍及实现原理。首先，用户提供了三个引用资料，我需要仔细分析这些内容，确保回答的准确性。 根据引用[2]，BM25是基于概率检索框架的算法，由Robertson等人提出，最初在OKapi系统中实现。所以开头应该介绍BM25的基本概念和应用场景，比如信息检索中的文档相关性评分。 接下来，引用[3]提到BM25计算query和文档相关性的三个部分：单词与文档的相关性、单词与query的相关性、单词权重。需要将这些部分拆解开来，逐一说明。比如，词频（TF）、逆文档频率（IDF）、文档长度归一化这些要素。 然后，引用[1]详细列出了BM25的四个组成部分：词频、逆文档频率、长度归一化和评分公式。我需要将这些技术点整合到回答中，可能需要用数学公式展示，并解释每个参数的作用，比如k1和b的意义。 在实现原理部分，需要分步骤说明，比如预处理、计算各组件、综合评分。这里要结合引用中的示例，可能需要用LaTeX公式展示BM25的公式，确保格式正确，如使用$$...$$。 然后，关于在ElasticSearch中的应用，引用[1]提到参数调整和混合搜索，这里需要简要说明如何调整k1和b，以及与其他算法的结合使用。 最后，生成相关问题时要覆盖原理、优化、应用、对比等，参考用户示例中的结构，确保问题有针对性且相关。 需要检查是否所有数学表达式都正确使用$或$$，比如词频部分可能用行内公式，而BM25公式用独立公式。同时，确保回答结构清晰，分点阐述，引用标识正确添加。</think>### BM25算法介绍及实现原理 #### 一、BM25算法简介 BM25（Best Match 25）是一种基于概率检索模型的相关性评分算法，主要用于信息检索系统中评估搜索词（query）与文档（document）之间的相关性[^2]。它由Stephen E. Robertson等人提出，并在OKapi系统中首次实现，因此也称为**OKapi BM25**。该算法结合了词频（TF）、逆文档频率（IDF）和文档长度归一化，能够有效平衡搜索结果的准确性与多样性。 --- #### 二、BM25实现原理 BM25的核心思想是通过以下三个组件计算相关性得分： 1. **词频（TF）** 衡量单词在文档中的出现频率，词频越高得分越高，但增长趋势会通过饱和函数控制，公式为： $$\text{TF}_{\text{BM25}} = \frac{(k_1 + 1) \cdot \text{tf}}{k_1 \cdot \left(1 - b + b \cdot \frac{\text{dl}}{\text{avgdl}}\right) + \text{tf}}$$ 其中： - $\text{tf}$：单词在文档中的词频 - $\text{dl}$：文档长度 - $\text{avgdl}$：语料库中文档的平均长度 - $k_1$（默认1.2）和$b$（默认0.75）为可调参数，控制词频饱和度和长度归一化强度[^1]。 2. **逆文档频率（IDF）** 衡量单词在整个语料库中的区分能力，公式为： $$\text{IDF} = \log\left(\frac{N - n + 0.5}{n + 0.5} + 1\right)$$ - $N$：文档总数 - $n$：包含该单词的文档数 3. **长度归一化** 通过参数$b$调节文档长度对得分的影响，避免长文档因包含更多单词而天然占优。 **最终BM25评分公式**： $$\text{BM25}(D, Q) = \sum_{i=1}^{n} \text{IDF}(q_i) \cdot \text{TF}_{\text{BM25}}(q_i, D)$$ --- #### 三、BM25算法实现步骤 1. **预处理** - 对文档和query进行分词、停用词过滤。 2. **计算IDF值** 统计每个单词的$n$（包含该词的文档数）和$N$（总文档数）。 3. **计算词频与长度归一化** 根据文档长度和参数$k_1, b$调整词频权重。 4. **综合得分** 对query中的每个单词计算$\text{IDF} \cdot \text{TF}$，并累加得到最终相关性得分。 --- #### 四、BM25在ElasticSearch中的应用 在ElasticSearch中，BM25是默认的相似度评分算法： - **参数调整**：通过修改`k1`和`b`优化结果（例如`"similarity": {"type": "BM25", "k1": 1.5}`）。 - **混合搜索**：结合布尔模型或语义搜索模型提升效果。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值