SEO技术：文本相似度-bm25算法原理及实现

本文链接：https://blog.youkuaiyun.com/FaTiaoNet/article/details/107376978

BM25算法常用于搜索相关性评分，通过对Query的语素解析，计算每个语素与文档的相关性得分，综合评估Query与文档的相关性。公式涉及TF-IDF、文档长度等因素，为信息检索提供灵活性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前面提到过TF-IDF算法（TF-IDF算法原理及公式）与之更进一步算法BM25相关度也是处理关键词相关性中重要的算法其中。

那么 TF 和 IDF 谁更重要呢，怎么计算最终的相关性得分呢？那就是 BM25。

BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。

本文整理了多篇有关BM25相关度算法原理形成本文供各位SEOer阅读，内容比较深度也非常的装逼，反正无忧是看不懂。有兴趣的站长可以查看研究一下。

BM25算法

BM25算法原理及实现
原理
BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。
BM25算法的一般性公式如下：

SEO技术：文本相似度-bm25算法原理及实现

其中，Q表示Query，qi表示Q解析之后的一个语素（对中文而言，我们可以把对Query的分词作为语素分析，每个词看成语素qi。）；d表示一个搜索结果文档；Wi表示语素qi的权重；R(qi，d)表示语素qi与文档d的相关性得分。
下面我们来看如何定义Wi。判断一个词与一个文档的相关性的权重，方法有多种，较常用的是IDF。这里以IDF为例，公式如下：

SEO技术：文本相似度-bm25算法原理及实现

SEO技术：文本相似度-bm25算法原理及实现其中，N为索引中的全部文档数，n(qi)为包含了qi的文档数。
根据IDF的定义可以看出，对于给定的文档集合，包含了qi的文档数越多，qi的权重则越低。也就是说，当很多文档都包含了qi时，qi的区分度就不高，因此使用qi来判断相关性时的重要度就较低。
我们再来看语素qi与文档d的相关性得分R（qi，d）。首先来看BM25中相关性得分的一般形式：