文本相似度-bm25算法原理及实现

最新推荐文章于 2025-03-19 11:27:00 发布
最新推荐文章于 2025-03-19 11:27:00 发布
阅读量1.9k 收藏 6
点赞数
分类专栏： 计算机学科学习笔记

转载自文本相似度-bm25算法原理及实现

原理

BM25算法，通常用来作搜索相关性评分。一句话概况其主要思想：对Query进行语素解析，生成语素 q i q_i qi​；然后，对于每个搜索结果D，计算每个语素 q i q_i qi​与D的相关性得分，最后，将 q i q_i qi​相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。

BM25算法的一般性公式如下：

S c o r e ( Q , d ) = ∑ i n W i ⋅ R ( q i , d ) Score(Q,d) = \sum_{i}^nW_i · R(q_i, d) Score(Q,d)=i∑n​Wi​⋅R(qi​,d)

其中，Q表示Query， q i q_i qi​表示Q解析之后的一个语素（对中文而言，我们可以把对Query的分词作为语素分析，每个词看成语素 q i q_i qi​。）；d表示一个搜索结果文档； W i W_i Wi​表示语素 q i q_i qi​的权重； R ( q i ， d ) R(q_i，d) R(qi​，d)表示语素 q i q_i qi​与文档d的相关性得分。

下面我们来看如何定义 W i W_i Wi​。判断一个词与一个文档的相关性的权重，方法有多种，较常用的是IDF。这里以IDF为例，公式如下：

I D F ( q i ) = l o g N − n ( q i ) + 0.5 n ( q i ) + 0.5 IDF(q_i)=log{N-n(q_i)+0.5\over n(q_i)+0.5} IDF(qi​)=logn(qi​)+0.5N−n(qi​)+0.5​

其中，N为索引中的全部文档数，n( q i q_i qi​)为包含了 q i q_i qi​的文档数。

根据IDF的定义可以看出，对于给定的文档集合，包含了 q i q_i qi​的文档数越多， q i q_i qi​的权重则越低。也就是说，当很多文档都包含了 q i q_i qi​时， q i q_i qi​的区分度就不高，因此使用 q i q_i qi​来判断相关性时的重要度就较低。

我们再来看语素 q i q_i qi​与文档d的相关性得分 R （ q i ， d ） R（q_i，d） R（qi​，d）。首先来看BM25中相关性得分的一般形式：

R ( q i , d ) = f i ⋅ ( k 1 + 1 ) f i + K ⋅ q f i ⋅ ( f 2 + 1 ) q f i + k 2   K = k 1 ⋅ ( 1 − b + b ⋅ d l a v g ( d l ) ) R(q_i,d)={f_i·(k_1+1)\over f_i+K}·{qf_i·(f_2+1)\over qf_i+k_2}\\\ \\K=k_1·(1-b+b·{dl\over avg(dl)}) R(qi​,d)=fi​+Kfi​⋅(k1​+1)​⋅qfi​+k2​qfi​⋅(f2​+1)​ K=k1​⋅(1−b+b⋅avg(dl)dl​)

其中， k 1 k_1 k1​， k 2 2 k_22 k2​2， b b b为调节因子，通常根据经验设置，一般k1=2，b=0.75；fi为 q i q_i qi​在d中的出现频率， q f i qf_i qfi​为 q i q_i qi​在Query中的出现频率。dl为文档d的长度，avgdl为所有文档的平均长度。由于绝大部分情况下， q i q_i qi​在Query中只会出现一次，即 q f i qf_i qfi​=1，因此公式可以简化为：

R ( q i , d ) = f i ⋅ ( k 1 + 1 ) f i + K R(q_i,d)={f_i·(k_1+1)\over f_i+K} R(qi​,d)=fi​+Kfi​⋅(k1​+1)​

从K的定义中可以看到，参数b的作用是调整文档长度对相关性影响的大小。b越大，文档长度的对相关性得分的影响越大，反之越小。而文档的相对长度越长，K值将越大，则相关性得分会越小。这可以理解为，当文档较长时，包含 q i q_i qi​的机会越大，因此，同等fi的情况下，长文档与 q i q_i qi​的相关性应该比短文档与 q i q_i qi​的相关性弱。

从BM25的公式可以看到，通过使用不同的语素分析方法、语素权重判定方法，以及语素与文档的相关性判定方法，我们可以衍生出不同的搜索相关性得分计算方法，这就为我们设计算法提供了较大的灵活性。

代码

import math
import jieba
from utils import utils

# 测试文本
text = '''
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。
自然语言处理是一门融语言学、计算机科学、数学于一体的科学。
因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，
所以它与语言学的研究有着密切的联系，但又有重要的区别。
自然语言处理并不是一般地研究自然语言，
而在于研制能有效地实现自然语言通信的计算机系统，
特别是其中的软件系统。因而它是计算机科学的一部分。
'''

class BM25(object):

    def __init__(self, docs):
        self.D = len(docs)
        self.avgdl = sum([len(doc)+0.0 for doc in docs]) / self.D
        self.docs = docs
        self.f = []  # 列表的每一个元素是一个dict，dict存储着一个文档中每个词的出现次数
        self.df = {} # 存储每个词及出现了该词的文档数量
        self.idf = {} # 存储每个词的idf值
        self.k1 = 1.5
        self.b = 0.75
        self.init()

    def init(self):
        for doc in self.docs:
            tmp = {}
            for word in doc:
                tmp[word] = tmp.get(word, 0) + 1  # 存储每个文档中每个词的出现次数
            self.f.append(tmp)
            for k in tmp.keys():
                self.df[k] = self.df.get(k, 0) + 1
        for k, v in self.df.items():
            self.idf[k] = math.log(self.D-v+0.5)-math.log(v+0.5)

    def sim(self, doc, index):
        score = 0
        for word in doc:
            if word not in self.f[index]:
                continue
            d = len(self.docs[index])
            score += (self.idf[word]*self.f[index][word]*(self.k1+1)
                      / (self.f[index][word]+self.k1*(1-self.b+self.b*d
                                                      / self.avgdl)))
        return score

    def simall(self, doc):
        scores = []
        for index in range(self.D):
            score = self.sim(doc, index)
            scores.append(score)
        return scores

if __name__ == '__main__':
    sents = utils.get_sentences(text)
    doc = []
    for sent in sents:
        words = list(jieba.cut(sent))
        words = utils.filter_stop(words)
        doc.append(words)
    print(doc)
    s = BM25(doc)
    print(s.f)
    print(s.idf)
    print(s.simall(['自然语言', '计算机科学', '领域', '人工智能', '领域']))

分段再分词结果

[['自然语言', '计算机科学', '领域', '人工智能', '领域', '中', '一个', '方向'], 
['研究', '人', '计算机', '之间', '自然语言', '通信', '理论', '方法'], 
['自然语言', '一门', '融', '语言学', '计算机科学', '数学', '一体', '科学'], 
[],
['这一', '领域', '研究', '涉及', '自然语言'], 
['日常', '语言'], 
['语言学', '研究'], 
['区别'], 
['自然语言', '研究', '自然语言'], 
['在于', '研制', '自然语言', '通信', '计算机系统'], 
['特别', '软件系统'], 
['计算机科学', '一部分']]

s.f
列表的每一个元素是一个dict，dict存储着一个文档中每个词的出现次数

[{'中': 1, '计算机科学': 1, '领域': 2, '一个': 1, '人工智能': 1, '方向': 1, '自然语言': 1}, 
{'之间': 1, '方法': 1, '理论': 1, '通信': 1, '计算机': 1, '人': 1, '研究': 1, '自然语言': 1}, 
{'融': 1, '一门': 1, '一体': 1, '数学': 1, '科学': 1, '计算机科学': 1, '语言学': 1, '自然语言': 1}, 
{}, 
{'领域': 1, '这一': 1, '涉及': 1, '研究': 1, '自然语言': 1}, 
{'日常': 1, '语言': 1}, 
{'语言学': 1, '研究': 1}, 
{'区别': 1}, 
{'研究': 1, '自然语言': 2}, 
{'通信': 1, '计算机系统': 1, '研制': 1, '在于': 1, '自然语言': 1}, 
{'软件系统': 1, '特别': 1}, 
{'一部分': 1, '计算机科学': 1}]

s.df
存储每个词及出现了该词的文档数量

{
    '在于': 1,  
    '人工智能': 1,  
    '语言': 1,  
    '领域': 2,  
    '融': 1, 
    '日常': 1, 
    '人': 1, 
    '这一': 1, 
    '软件系统': 1, 
    '特别': 1, 
    '数学': 1, 
    '通信': 2, 
    '区别': 1, 
    '之间': 1, 
    '计算机科学': 3, 
    '科学': 1, 
    '一体': 1, 
    '方向': 1, 
    '中': 1, 
    '理论': 1, 
    '计算机': 1, 
    '涉及': 1, 
    '研制': 1, 
    '一门': 1, 
    '研究': 4, 
    '语言学': 2, 
    '计算机系统': 1, 
    '自然语言': 6, 
    '一部分': 1, 
    '一个': 1, 
    '方法': 1
}

s.idf
存储每个词的idf值

{
    '在于': 2.0368819272610397, 
    '一部分': 2.0368819272610397, 
    '一个': 2.0368819272610397, 
    '语言': 2.0368819272610397, 
    '领域': 1.4350845252893225, 
    '融': 2.0368819272610397, 
    '日常': 2.0368819272610397, 
    '人': 2.0368819272610397, 
    '这一': 2.0368819272610397, 
    '软件系统': 2.0368819272610397, 
    '特别': 2.0368819272610397, 
    '数学': 2.0368819272610397, 
    '通信': 1.4350845252893225, 
    '区别': 2.0368819272610397, 
    '之间': 2.0368819272610397, 
    '一门': 2.0368819272610397, 
    '科学': 2.0368819272610397, 
    '一体': 2.0368819272610397, 
    '方向': 2.0368819272610397, 
    '中': 2.0368819272610397, 
    '理论': 2.0368819272610397, 
    '计算机': 2.0368819272610397, 
    '涉及': 2.0368819272610397, 
    '研制': 2.0368819272610397, 
    '计算机科学': 0.9985288301111273, 
    '研究': 0.6359887667199966, 
    '语言学': 1.4350845252893225, 
    '计算机系统': 2.0368819272610397, 
    '自然语言': 0.0, 
    '人工智能': 2.0368819272610397, 
    '方法': 2.0368819272610397
}

s.simall([‘自然语言’, ‘计算机科学’, ‘领域’, ‘人工智能’, ‘领域’])
[‘自然语言’, ‘计算机科学’, ‘领域’, ‘人工智能’, ‘领域’]与每一句的相似度

[5.0769919814311475, 0.0, 0.6705449078118518, 0, 2.5244316697250033, 0, 0, 0, 0.0, 0.0, 0, 1.2723636062357853]

详细代码

https://github.com/jllan/jannlp/blob/master/similarity/bm25.py

参考

http://www.cnblogs.com/hdflzh/p/4034602.html
http://www.aiuxian.com/article/p-2690039.html

深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
丨汀、的博客
01-08 2248
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
搜索算法相似度问题之BM25
炼丹笔记
01-06 1755
在实践中，无论是搜索问题，还是文本问题，如何找到相似的文本都是一个常见的场景，但TFIDF文本相似度计算用多了，年轻人往往会不记得曾经的经典。毕业快4年了，最近准备梳理一下《我毕业这4年》，在整理文档时看到了好久之前的一个比赛，想起了当时TFIDF、BERT的方案都没在指标上赢过BM25的情景，本期我们来聊一聊相似文本搜索的相关知识点。 BM25是信息索引领域用来计算Query与文档相似度得分的经...
【短文本相似度】传统方法BM25解决短文本相似度问题
u013602059的专栏
03-23 1272
之前介绍过TF-IDF计算短文本相似度，见：传统方法TF-IDF解决短文本相似度问题，想着就把这一系列都介绍完吧，也算是自己的归纳总结，今天就介绍一下如何使用BM25算法计算短文本相似度。 上一篇短文本相似度算法研究文章中，我们举过这样一个场景，在问答系统任务（问答机器人）中，我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答，我们将这些配置好的问题称之为“标准问”。当用户进行提问时，...
BM25的算法
11-12
文档搜索中，并没有例如pr（google）这样的权威的评分作为排序的依据，所以有各种各样评分标准来评价我们搜索的相关度，而BM25就是其中比较著名的一种。
深入解析BM25：LangChain中的高效检索算法
AI Agent 首席体验官
03-19 1030
BM25是信息检索领域中一个重要的排序算法，它用来计算查询与文档之间的相关性。让我们通过一个图书馆的例子来理解：想象你是一个图书馆管理员，有人来问你：“我想找关于太空探索和火星的书”。： 就像你先数一数每本书中"太空探索"和"火星"这些词出现的次数，然后优先推荐这些词出现最多的书。但这有个问题：如果一本1000页的书和一本100页的书都提到"火星"10次，按理说短书中这个词更重要，但简单计数无法体现这点。：BM25认为一个词出现次数多不等于无限重要。
BM25算法
llw01的专栏
05-06 3077
1.       BM25算法 BM25是二元独立模型的扩展，其得分函数有很多形式，最普通的形式如下：   ∑    其中，k1,k2,K均为经验设置的参数，fi是词项在文档中的频率，qfi是词项在查询中的频率。 K1通常为1.2，k2通常为0-1000 K的形式较为复杂   K=   上式中，dl表示文档的长度，avdl表示文档的平均长度，b通常取0.75   2.  
BM25算法详解
huanxingchen1的博客
04-19 5424
BM25（Best Matching）算法是当前信息检索领域主流的文本匹配算法，主要内容是计算query到文档集合的相似度得分。BM25可以视作Tf-IDF算法的优化。
bm25算法
公众号：瑞行AI
06-14 2814
bm25算法，常用作搜索相关性评分。 bm25算法主要思想 对Query进行语素解析，生成语素qi；然后，对于每个搜索结果d，计算每个语素qi与d的相关性得分，最后，将“一个Query各个qi相对于d的相关性得分”加权求和，从而得到“Query与d的相关性得分”。 bm25算法原理及公式推导 一条Query与搜索结果的任意doc之间相关性分数 Score(Q,d)=∑inWiR(qi,d)Scor...
SEO技术：文本相似度-bm25算法原理及实现
FaTiao.Net的博客
07-16 479
前面提到过TF-IDF算法（TF-IDF算法原理及公式）与之更进一步算法BM25相关度也是处理关键词相关性中重要的算法其中。 那么 TF 和 IDF 谁更重要呢，怎么计算最终的相关性得分呢？那就是 BM25。 BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。 本文整理了多篇有关BM25相关度算法原理形成本文供
搜索引擎相关度算法 -BM25 JAVA实现
看山不是山
12-05 3034
bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模型提出的算法。 它的出现主要是解决TF-IDF算法中 TF的影响可无限增大的不足，本质上BM25是基于TF-IDF并做了改进的算法。 如图所示，传统的TF-IDF算法中 词频的影响程度是无限增大的，换而言之就是关键词出现的越频繁，TF-IDF相关度就越高。稍微有点简单粗暴；而BM25算法就是让词频的影响到达一定程...
【深度学习】召回过程优化--BM25
weixin_43923463的博客
09-11 1459
这里可以使用fasttext，word2vector等方式实现获取词向量，然后对一个句子中的所有词语的词向量进行平均，获取整个句子的向量表示，即，该实现方法在fasttext和Word2vector中均有实现，而且通过参数的控制，实现N-garm的效果假设有文本a.txt我 很 喜欢 她今天 天气 不错我 爱 深度学习那么可以实现获取句子向量的方法如下。
BM25算法介绍
01-04
BM25算法的详细资料，需要的可以参考，比较完整的实现过程。
【短文本相似度】传统方法BM25解决短文本相似度问题.pdf
09-18
【短文本相似度】传统方法BM25解决短文本相似度问题.pdf
深入理解信息检索之BM25算法
qq_45141261的博客
12-18 2067
BM25作为经典的文本相关性评分算法，凭借其简单、高效和鲁棒性，在信息检索领域占据了重要地位。尽管存在一定的局限性，但通过改进和扩展，BM25能够适应更多复杂的场景需求。在现代搜索系统中，BM25依然是不可或缺的基础工具，同时与深度学习模型的结合也为未来的信息检索技术提供了更多可能性。
BM25 文本相似度算法
小小码农
07-11 6091
BM25, 下一代的TF-IDF 新版的lucence不再把TF-IDF作为默认的相关性算法，而是采用了BM25(BM是Best Matching的意思)。BM25是基于TF-IDF并做了改进的算法。 BM25算法，通常用来作搜索相关性评分。 一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进...
BM25公式（转）
qq_15906905的博客
12-13 782
tf-idf计算文本相似度
最新发布
05-13
<think>好的，用户想了解如何使用TF-IDF算法计算文本之间的相似度。我需要先回忆一下TF-IDF的基本概念和步骤。首先，TF-IDF是Term Frequency-Inverse Document Frequency的缩写，用于评估一个词在文档中的重要程度。词频（TF）衡量的是某个词在文档中出现的频率，而逆文档频率（IDF）则是衡量该词的普遍重要性，出现在太多文档中的词IDF值会较低。 接下来，计算文本相似度通常需要将文本转换为向量形式，TF-IDF向量就是这个过程的结果。然后，可以使用余弦相似度来比较两个向量的夹角，夹角越小，相似度越高。我记得用户提供的引用里提到了余弦相似度的应用，特别是引用[2]中的例子，使用TF-IDF矩阵和余弦相似度矩阵来计算文本之间的相似度。 用户的问题可能希望得到具体的步骤解释，可能还需要代码示例。根据系统指令，需要确保行内数学表达式使用$...$格式，例如TF的计算公式是$TF(t,d) = \frac{\text{词t在文档d中出现的次数}}{\text{文档d的总词数}}$，而IDF的计算公式是$IDF(t,D) = \log\left(\frac{\text{总文档数N}}{\text{包含词t的文档数} + 1}\right)$。组合起来的TF-IDF值就是两者的乘积。 然后，向量化后的文本需要通过余弦相似度来计算相似度，公式是$\cos(\theta) = \frac{\mathbf{A} \cdot \mathbf{B}}{||\mathbf{A}|| \cdot ||\mathbf{B}||}$。这部分需要解释清楚，可能需要用示例说明如何计算。 另外，引用[3]提到了BM25算法，作为TF-IDF的改进，但用户的问题集中在TF-IDF，所以可能不需要深入BM25，但可以作为相关问题提到。 还需要注意用户的引用中提到的一些库，比如tf-idf-similarity库，可能用户对实际应用感兴趣，所以提供Python代码示例会有帮助。例如使用sklearn的TfidfVectorizer和cosine_similarity函数，如引用[2]中的代码所示。 需要确保回答结构清晰，分步骤说明，并包含代码示例。同时，根据系统指令，生成相关问题，比如优化方法、与其他算法的比较等。同时，引用正确的来源，比如在解释TF-IDF和余弦相似度时引用提供的引用[1]、[2]、[3]。 最后检查是否符合格式要求，数学公式是否正确使用$或$$，代码块是否用```python标注，以及是否有相关问题部分。确保所有引用标识正确添加，例如在提到余弦相似度时引用[^2]，在提到参数调整时引用[^3]。</think>要使用TF-IDF算法计算文本相似度，需依次完成以下步骤： ### 一、算法原理说明 1. **词频（TF）**：计算词语在单个文档中的频率 $$ TF(t,d) = \frac{\text{词t在文档d中出现的次数}}{\text{文档d的总词数}} $$ 2. **逆文档频率（IDF）**：评估词语在整个语料库中的重要性 $$ IDF(t,D) = \log\left(\frac{N}{n_t + 1}\right) $$ 其中$N$为总文档数，$n_t$为包含词t的文档数[^1] 3. **TF-IDF值**：综合指标 $$ TF\text{-}IDF(t,d) = TF(t,d) \times IDF(t,D) $$ ### 二、实施步骤 1. **文本预处理**： - 分词处理（中文需使用分词工具） - 去除停用词 - 词干提取（英文场景） 2. **向量化处理**： 使用TF-IDF向量将文本转换为数值矩阵，每行对应一个文档的向量表示[^2] 3. **相似度计算**： 采用余弦相似度衡量向量间夹角 $$ \cos(\theta) = \frac{\mathbf{A} \cdot \mathbf{B}}{||\mathbf{A}|| \cdot ||\mathbf{B}||} $$ ### 三、Python实现示例 ```python from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.metrics.pairwise import cosine_similarity # 示例文档集 documents = [ "自然语言处理是人工智能的重要领域", "机器学习需要大量数据进行训练", "深度学习在计算机视觉中应用广泛" ] # 创建TF-IDF向量器 vectorizer = TfidfVectorizer() tfidf_matrix = vectorizer.fit_transform(documents) # 计算余弦相似度矩阵 similarity_matrix = cosine_similarity(tfidf_matrix) print("文档相似度矩阵:") print(similarity_matrix) ``` ### 四、结果解读 输出矩阵中： - 对角线值始终为1（自相似度） - 元素[0,1]表示第1篇与第2篇文档的相似度 - 值域[0,1]，越接近1表示相似度越高[^2] ### 五、优化建议 1. 调整TF-IDF参数（最大特征数、停用词表等） 2. 结合词性过滤（保留名词、动词等实词） 3. 使用BM25改进算法（控制词频影响范围）[^3]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值