es评分 BM25

已于 2022-07-05 23:06:00 修改
阅读量633 收藏 1
点赞数 1
分类专栏： 技术 文章标签： elasticsearch 大数据 搜索引擎
于 2022-07-04 23:34:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43843104/article/details/125581897
版权

评分

准备

PUT /score_study
{
    "mappings": {
        "properties": {
            "title": {
                "type": "text",
                "analyzer": "english"
            }
        }
    }
}
PUT /score_study/_doc/1
{
    "title": "Elastic Stack技术栈简介 2020 最新ElasticSearch教程"
}

评分机制详解

参数解释

tf, 词频
idf,逆向文档频率
freq, 词项在文档出现频率（occurrences of term within document）
b, 长度归一化参数，默认0.75（length normalization parameter）这个参数控制着字段长归一值所起的作用， 0.0 会禁用归一化， 1.0 会启用完全归一化。默认值为 0.75 。
k1,词项环境变量，默认1.2（ term saturation parameter）这个参数控制着词频结果在词频饱和度中的上升速度。默认值为 1.2 。值越小饱和度变化越快，值越大饱和度变化越慢。
dl, token的总长度，（length of field），可用_analyze查看
dl, 所有文档token的总长度平均值，（avgdl, average length of field）
n, 包含匹配检索词项总数（ number of documents containing term）
N, 总文档数（total number of documents with field）

当只有一篇文档时，只有docId为1的文档中elastic， 匹配搜索词项elastic

tf =  freq / (freq + k1 * (1 - b + b * dl / avgdl)) = 1 / （1 + 1.2 * （1- 0.75 + 0.75 * 13 / 13）） = 0.45454544
idf = log(1 + (N - n + 0.5) / (n + 0.5))  = log（1 + （1 -1 + 0.5）/ (1 + 0.5)）= 0.2876821
score(freq=1.0) =  boost * idf * tf = 2.2 * 0.45454544 * 0.2876821 = 0.2876821


GET /score_study/_explain/1
{
    "query": {
        "match": {
            "title": "elastic"
        }
    }
}
返回
{
    "_index": "score_study",
    "_id": "1",
    "matched": true,
    "explanation": {
        "value": 0.2876821,
        "description": "weight(title:elast in 0) [PerFieldSimilarity], result of:",
        "details": [
            {
                "value": 0.2876821,
                "description": "score(freq=1.0), computed as boost * idf * tf from:",
                "details": [
                    {
                        "value": 2.2,
                        "description": "boost",
                        "details": []
                    },
                    {
                        "value": 0.2876821,
                        "description": "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                        "details": [
                            {
                                "value": 1,
                                "description": "n, number of documents containing term",
                                "details": []
                            },
                            {
                                "value": 1,
                                "description": "N, total number of documents with field",
                                "details": []
                            }
                        ]
                    },
                    {
                        "value": 0.45454544,
                        "description": "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                        "details": [
                            {
                                "value": 1.0,
                                "description": "freq, occurrences of term within document",
                                "details": []
                            },
                            {
                                "value": 1.2,
                                "description": "k1, term saturation parameter",
                                "details": []
                            },
                            {
                                "value": 0.75,
                                "description": "b, length normalization parameter",
                                "details": []
                            },
                            {
                                "value": 13.0,
                                "description": "dl, length of field",
                                "details": []
                            },
                            {
                                "value": 13.0,
                                "description": "avgdl, average length of field",
                                "details": []
                            }
                        ]
                    }
                ]
            }
        ]
    }
}

再增加一篇文档

PUT /score_study/_doc/2
{
    "title": "Elastic Stack技术栈简介 2020 Elastic"
}
然后查询
GET /score_study/_explain/2
{
    "query": {
        "match": {
            "title": "elastic"
        }
    }
}
返回
{
    "_index": "score_study",
    "_id": "2",
    "matched": true,
    "explanation": {
        "value": 0.2642025,
        "description": "weight(title:elast in 0) [PerFieldSimilarity], result of:",
        "details": [
            {
                "value": 0.2642025,
                "description": "score(freq=2.0), computed as boost * idf * tf from:",
                "details": [
                    {
                        "value": 2.2,
                        "description": "boost",
                        "details": []
                    },
                    {
                        "value": 0.18232156,
                        "description": "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                        "details": [
                            {
                                "value": 2,
                                "description": "n, number of documents containing term",
                                "details": []
                            },
                            {
                                "value": 2,
                                "description": "N, total number of documents with field",
                                "details": []
                            }
                        ]
                    },
                    {
                        "value": 0.6586826,
                        "description": "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                        "details": [
                            {
                                "value": 2.0,
                                "description": "freq, occurrences of term within document",
                                "details": []
                            },
                            {
                                "value": 1.2,
                                "description": "k1, term saturation parameter",
                                "details": []
                            },
                            {
                                "value": 0.75,
                                "description": "b, length normalization parameter",
                                "details": []
                            },
                            {
                                "value": 9.0,
                                "description": "dl, length of field",
                                "details": []
                            },
                            {
                                "value": 11.0,
                                "description": "avgdl, average length of field",
                                "details": []
                            }
                        ]
                    }
                ]
            }
        ]
    }
}

当增加一篇文档时

tf =  freq / (freq + k1 * (1 - b + b * dl / avgdl)) = 2 / （2 + 1.2 * （1- 0.75 + 0.75 * 9 / 11）） = 0.6586826
idf = log(1 + (N - n + 0.5) / (n + 0.5))  = log（1+ （2-2 + 0.5）/ （2+0.5））= 0.18232156
score(freq=1.0) =  boost * idf * tf = 2.2 * 0.6586826 * 0.18232156 = 0.2642025

原来的文档1返回

{
    "_index": "score_study",
    "_id": "1",
    "matched": true,
    "explanation": {
        "value": 0.16969931,
        "description": "weight(title:elast in 0) [PerFieldSimilarity], result of:",
        "details": [
            {
                "value": 0.16969931,
                "description": "score(freq=1.0), computed as boost * idf * tf from:",
                "details": [
                    {
                        "value": 2.2,
                        "description": "boost",
                        "details": []
                    },
                    {
                        "value": 0.18232156,
                        "description": "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                        "details": [
                            {
                                "value": 2,
                                "description": "n, number of documents containing term",
                                "details": []
                            },
                            {
                                "value": 2,
                                "description": "N, total number of documents with field",
                                "details": []
                            }
                        ]
                    },
                    {
                        "value": 0.42307693,
                        "description": "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                        "details": [
                            {
                                "value": 1.0,
                                "description": "freq, occurrences of term within document",
                                "details": []
                            },
                            {
                                "value": 1.2,
                                "description": "k1, term saturation parameter",
                                "details": []
                            },
                            {
                                "value": 0.75,
                                "description": "b, length normalization parameter",
                                "details": []
                            },
                            {
                                "value": 13.0,
                                "description": "dl, length of field",
                                "details": []
                            },
                            {
                                "value": 11.0,
                                "description": "avgdl, average length of field",
                                "details": []
                            }
                        ]
                    }
                ]
            }
        ]
    }
}

改变的有：

tf =  freq / (freq + k1 * (1 - b + b * dl / avgdl)) = 1 / （1 + 1.2 * （1- 0.75 + 0.75 * 13 / 11）） = 0.42307693
idf = log(1 + (N - n + 0.5) / (n + 0.5))  = log（1 + （2 -2 + 0.5）/ (2 + 0.5)）= 0.18232156
score(freq=1.0) =  boost * idf * tf = 2.2 * 0.42307693 * 0.18232156 = 0.16969931

再增加一篇不相关的

PUT /score_study/_doc/3
{
    "title": "test Stack技术栈简介 2020 test"
}

此时查询文档1

{
    "_index": "score_study",
    "_id": "1",
    "matched": true,
    "explanation": {
        "value": 0.42512262,
        "description": "weight(title:elast in 0) [PerFieldSimilarity], result of:",
        "details": [
            {
                "value": 0.42512262,
                "description": "score(freq=1.0), computed as boost * idf * tf from:",
                "details": [
                    {
                        "value": 2.2,
                        "description": "boost",
                        "details": []
                    },
                    {
                        "value": 0.47000363,
                        "description": "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:",
                        "details": [
                            {
                                "value": 2,
                                "description": "n, number of documents containing term",
                                "details": []
                            },
                            {
                                "value": 3,
                                "description": "N, total number of documents with field",
                                "details": []
                            }
                        ]
                    },
                    {
                        "value": 0.41114056,
                        "description": "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:",
                        "details": [
                            {
                                "value": 1.0,
                                "description": "freq, occurrences of term within document",
                                "details": []
                            },
                            {
                                "value": 1.2,
                                "description": "k1, term saturation parameter",
                                "details": []
                            },
                            {
                                "value": 0.75,
                                "description": "b, length normalization parameter",
                                "details": []
                            },
                            {
                                "value": 13.0,
                                "description": "dl, length of field",
                                "details": []
                            },
                            {
                                "value": 10.333333,
                                "description": "avgdl, average length of field",
                                "details": []
                            }
                        ]
                    }
                ]
            }
        ]
    }
}

改变的有：

tf =  freq / (freq + k1 * (1 - b + b * dl / avgdl)) = 1 / （1 + 1.2 * （1- 0.75 + 0.75 * 13 / 10.333333）） = 0.41114056
idf = log(1 + (N - n + 0.5) / (n + 0.5))  = log（1 + （2 -3 + 0.5）/ (3 + 0.5)）= 0.47000363
score(freq=1.0) =  boost * idf * tf = 2.2 * 0.42307693 * 0.18232156 = 0.16969931

log 默认以e为底

资料

https://en.wikipedia.org/wiki/Okapi_BM25
https://www.elastic.co/guide/cn/elasticsearch/guide/current/pluggable-similarites.html
【Elasticsearch】实用BM25 -第2部分:BM25算法及其变量
九师兄
05-29 546
1.概述 转载：https://www.elastic.co/cn/blog/practical-bm25-part-2-the-bm25-algorithm-and-its-variables 这是实用BM25系列三部分中关于相似度排名(相关性)的第二篇文章。如果您刚刚加入，请查看第1部分:碎片如何影响Elasticsearch中的相关性评分。 2. BM25算法 我将在这里尝试深入研究数学，只是在解释发生了什么绝对必要的情况下，但这是我们查看BM25公式的结构，以获得一些见解发生了什么。首先我们来看一.
更改ElasticSearch的相关度算法，以BM25为例（非修改源码）
强强强子的博客
11-21 3532
官网说明https://www.elastic.co/guide/en/elasticsearch/reference/6.5/index-modules-similarity.html#bm25 { "settings": { "analysis": { "analyzer": { "comma": { "type": "pattern...
es的相关性算分-BM25算法：词频超过一定数量，超过的那部分不进行算分
Hiber12的博客
12-18 1814
相关性算分：指文档与查询语句间的相关度，通过倒排索引可以获取与查询语句相匹配的文档列表 如何将最符合用户查询需求的文档放到前列呢？ 本质问题是一个排序的问题，排序的依据是相关性算分，确定倒排索引哪个文档排在前面 影响相关度算分的参数： 1、TF(Term Frequency)：词频，即单词在文档中出现的次数，词频越高，相关度越高 2、Document Frequency(DF)：文档词频，即单词出现的文档数 3、IDF(Inverse Document Frequency)：逆向文档词频，与文档词频相反，.
浅析 ElasticSearch 默认算法 —— BM25
XiaoMing学习分享博文
07-06 2029
最近在做 ES 相关东西，只最会在查询的时候给不同的字段设置不同的权重，但是得分具体怎么算的不太明白，花了4-5 天研究和总结了一下。这样不至于被别人问到“这个分数怎么算出来的？”，两眼一抹黑，不知其所以然，总结下方便之后学习；
干货 | 一步步拆解 Elasticsearch BM25 模型评分细节
铭毅天下Elasticsearch
07-03 6701
Elasticsearch 5 之前的版本，评分机制或者打分模型基于 TF-IDF 实现。从 Elasticsearch 5 开始，Elasticsearch 的默认相似度算法是 Okap...
ElasticSearch中的BM25算法实现原理及应用分析
沛哥儿的专栏
06-27 2438
在文档搜索过程中，用户输入的查询首先会被Elasticsearch的分词器处理成多个查询词项，然后这些词项与索引中的文档进行匹配。BM25算法会根据每个词项在文档中出现的频率（TF）和在整个文档集合中的稀有程度（IDF）来计算每个词项对文档得分的贡献。ElasticSearch中的BM25算法是一种基于词频和逆文档频率的评分模型，通过计算查询与文档的相关性评分来提供高质量的搜索结果。在实际应用中，ElasticSearch的BM25算法已经得到了广泛的应用和验证，为用户提供了高效、准确的搜索体验。
Elasticsearch：实用 BM25 - 第 3 部分：在 Elasticsearch 中选择 b 和 k1 的注意事项
Elastic 中国社区官方博客
06-18 2355
实用 BM25 - 在 Elasticsearch 中选择 b 和 k1 的注意事项。值得注意的是，当你的用户不能快速找到文档时，选择 b 和 k1 通常不是第一件事。 b = 0.75 和 k1 = 1.2 的默认值适用于大多数语料库。
ElasticSearch与BM25:构建高效的全文搜索引擎
akhfuiigabv的博客
09-15 1291
ElasticSearch是一个基于Lucene的开源搜索引擎,它提供了分布式、多租户能力的全文搜索引擎,具有HTTP Web接口和无模式的JSON文档存储特性。分布式架构,支持大规模数据处理近实时搜索和分析RESTful API,易于集成强大的全文搜索和聚合分析能力BM25(Best Matching 25)是一种广泛使用的信息检索排序函数,用于估计文档与给定搜索查询的相关性。
第 22 章 - 你不能错过的Elasticsearch核心知识点-BM25相关性评分算法（进阶）
不能放弃治疗
10-13 741
上一章介绍了 Elasticsearch 的读写优化技巧。本章将深入探讨与 Elasticsearch 相关的 BM25 相关性评分公式。我们将全面解析 BM25 如何在查询时影响文档评分。BM25 是 Elasticsearch 的核心内容之一，内容可能较为难懂，请耐心阅读。文档评分是基于文档所在的分片进行计算的。在同一个分片中，1个 term 出现在大多数文档中，那么该 term 的得分就会低，反之则高。
Elasticsearch相似度算分TF-IDF BM25（标贝科技）
DataBaker的博客
03-29 2652
控制相关度 处理结构化数据（比如：时间、数字、字符串、枚举）的数据库，只需检查文档（或关系数据库里的行）是否与查询匹配。 布尔的是/非匹配是全文搜索的基础，但不止如此，我们还要知道每个文档与查询的相关度，在全文搜索引擎中不仅需要找到匹配的文档，还需根据它们相关度的高低进行排序。 全文相关的公式或 相似算法（similarity algorithms） 会将多个因素合并起来，为每个文档生成一个相关度评分 _score 。这里，我们会验证各种可变部分，然后讨论如何来控制它们。 当然，相关度不只与全文查询有关，也
Elasticsearch相关度评分算法（三）：BM25（Okapi BM25）
Elastic开源社区
05-17 4582
文章目录1、引言2、相关度概率模型3、Okapi BM25 函数3.1 逆文档频率：IDF(qi)IDF(q_i)IDF(qi​)3.1.1 函数公式及参数3.1.2 函数曲线3.1.3 总结3.2 词频相关性函数：S(qi,D)S(q_i,D)S(qi​,D)3.2.1 函数及参数3.2.2 相关性曲线3.2.3 k1k_1k1​值的作用：3.3 文档长度相关性：KKK4、最终函数公式 1、引言 BM25（全称：Okapi BM25） 其中 BM 指的 Best Matching 的缩写，是搜索引擎常用的
Elasticsearch：实用 BM25 - 第 2 部分：BM25 算法及其变量
Elastic 中国社区官方博客
06-16 3937
我们将通过设置三个索引来测试我们的知识：一个 k1 的值为 0，b 为 0.5，第二个索引 (people2) 的值为 b 为 0，k1 为 10，第三个索引 (people3) b 的值为 1，k1 为 5。这（再次）归功于 k1 的较大值。对 k1 的解释是，对于平均长度的文档，术语频率的值给出的分数是所考虑术语的最大分数的一半。因此，像文档 3 这样的文档，在低于文档 2、4、5 和 6 的 3 个得分中只有 1 个词匹配，它们都恰好匹配了一半的词，而那些得分都低于与文档 1 完全匹配的文档。
BM25检索算法 python
消极的人永远是对的，积极的人选择勇往直前
04-23 4685
BM25（Best Matching 25）是一种经典的信息检索算法，是基于 TF-IDF算法的改进版本，旨在解决、TF-IDF算法的一些不足之处。其被广泛应用于信息检索领域的排名函数，用于估计文档D与用户查询Q之间的相关性。它是一种基于概率检索框架的改进，特别是在处理长文档和短查询时表现出色。BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。目前被广泛运用的搜索引擎ES就内置了BM25算法进行全文检索。
Elasticsearch：BM25 及 使用 Elasticsearch 和 LangChain 的自查询检索器
Elastic 中国社区官方博客
02-06 4771
本工作簿演示了 Elasticsearch 的自查询检索器将非结构化查询转换为结构化查询的示例，我们将其用于 BM25 示例。在这个例子中：如果你还没有安装好自己的 Elasticsearch 及 Kibana，请参考文章：如果你还没有安装好自己的 Elasticsearch 及 Kibana，那么请参考一下的文章来进行安装：如何在 Linux，MacOS 及 Windows 上进行安装 ElasticsearchKibana：如何在 Linux，MacOS 及 Windows 上安装 Elastic 栈中
深入浅出ElasticSearch BM25：实现最佳匹配搜索
jaioyfpo的博客
10-18 675
BM25是一种基于概率检索框架的排名函数，旨在衡量文档与给定查询之间的相关性。它是TF-IDF的改进版本，广泛用于搜索引擎排名。BM25作为一款强大的排名算法，在ElasticSearch中提供了优化的相关性检索功能。通过合理的参数调整和数据准备，可以显著提升搜索结果的准确性。建议进一步阅读ElasticSearch官方文档，深入了解BM25及其配置。
搜索排序算法之BM25
qq_34615112的博客
05-02 1534
BM25属于bag-of-word（词袋）模型，通常用来计算query与文档间相关性。下面先给出计算公式： score(D,Q)=∑i=1nidf(qi)∗tf(qi,D)∗(k1+1)tf(qi,D)+k1∗(1−b+b∗∣D∣avgdl) score(D,Q)=\sum_{i=1}^nidf(q_i)*\frac{tf(q_i, D)*(k_1+1)}{tf(q_i, D)+k_1*(1-b+...
科普一下Elasticsearch中BM25算法的使用
醉鱼的博客
07-16 2742
与BM25算法相比，TF-IDF算法没有考虑文档长度和查询长度的影响，因此在处理长文档和短查询时可能会出现评分偏低的问题。在Elasticsearch中，BM25是一种常用的文本相似度评分算法，用于计算查询和文档之间的相关性。BM25算法的核心思想是根据查询词项在文档中出现的频率和文档中的词汇分布来计算文档的相关性。BM25（Best Match 25）：BM25是一种基于TF和IDF的改进算法，它考虑了词频和文档频率，并引入了一些调整参数，以提高搜索结果的质量。较短的字段可能更相关，因此分数较高。
BM25算法与TF-IDF
Mark_Australia的博客
09-14 1611
BM25和tf-idf算法
使用Elasticsearch和BM25实现高效文档检索
最新发布
ahdfwcevnhrtds的博客
11-12 611
通过结合使用 Elasticsearch 和 BM25，开发者可以实现更加精准和高效的文档检索系统。建议进一步阅读官方文档和相关研究资料，以更深入理解 BM25 的工作原理及其在实际应用中的表现。
elasticsearch 评分
08-23
Elasticsearch使用相关性评分来衡量查询结果与搜索查询的匹配程度。其中，两个主要的评分算法是TF-IDF和BM25。 TF-IDF（词频-逆文档频率）是一种传统的评分算法，它考虑了词项在文档中的频率和在整个文集中的重要性。它通过计算词项在文档中的出现频率（TF）和在文集中的逆文档频率（IDF），来决定一个词项的相关性得分。TF-IDF评分越高，表示词项在文档中的出现频率越高且在整个文集中的重要性越大。 BM25是一种更先进的评分算法，它综合考虑了词项频率、文档长度和文档频率等因素。BM25对于常见词项的匹配较为慎重，但在罕见词项的匹配上具有更好的效果。相对于TF-IDF，BM25更适用于大型的文档集合和长文档。 在Elasticsearch中，影响相关性评分的因素包括： - 词项频率（Term Frequency，TF）：词项在文档中的出现频率越高，相关性评分越高。 - 逆文档频率（Inverse Document Frequency，IDF）：衡量词项的重要性，常见词项的IDF较低，罕见词项的IDF较高。 - 文档长度（Field Length）：较长的文档可能会被降低相关性评分，以避免长文档在相关性上的优势。 - 文档频率（Document Frequency，DF）：词项在文档集合中的出现频率越高，相关性评分越低。 综上所述，Elasticsearch使用TF-IDF和BM25等评分算法来衡量查询结果与搜索查询的相关性。评分算法会考虑词项频率、逆文档频率、文档长度和文档频率等因素，并根据这些因素为每个查询结果分配一个相关性得分。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [【Elasticsearch】Elasticsearch自定义评分的N种方法](https://blog.youkuaiyun.com/qq_21383435/article/details/116569606)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值