python根据BM25实现文本检索

最新推荐文章于 2025-07-09 01:00:00 发布

原创

最新推荐文章于 2025-07-09 01:00:00 发布 · 1w 阅读

37 ·

CC 4.0 BY-SA版权

文章标签：

#搜索 #python

该博客介绍了如何利用Python的gensim库实现BM25文本检索方法。通过构建停用词表、进行分词处理、建立词袋模型以及计算相关性，实现了从已有的文本中根据用户输入的搜索词查找最相关文本的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目的

给定一个或多个搜索词，如“高血压患者”，从已有的若干篇文本中找出最相关的(n篇)文本。

理论知识

文本检索（text retrieve）的常用策略是：用一个ranking function根据搜索词对所有文本进行排序，选取前n个，就像百度搜索一样。
显然，ranking function是决定检索效果最重要的因素，本文选用了在实际应用中效果很好的BM25。BM25其实只用到了一些基础的统计和文本处理的方法，没有很高深的算法。

BM25
上图是BM25的公式，对于一个搜索q和所有文本，计算每一篇文本d的权重。整个公式其实是TF-IDF的改进：
* 第一项c(w,q)就是搜索q中词w的词频
* 第三项是词w的逆文档频率，M是所有文本的个数，df(w)是出现词w的文本个数
* 中间的第二项是关键，实质是词w的TF值的变换，c(w,d)是词w在文本d中的词频。首先是一个TF Transformation，目的是防止某个词的词频过大，经过下图中公式的约束，词频的上限为k+1，不会无限制的增长。例如，一个词在文本中的词频无论是50还是100，都说明文本与这个词有关，但相关度不可能是两倍关系。

* 上图的公式分母中的k还乘了一个系数，目的是归一化文本长度。归一化公式中，b是[0,1]之间的常数，avdl是平均文本长度，d是文本d的长度。显然，d比平均值大，则normalizer大于1，代入BM25最终的权重变小，反之亦然。

length normalization

python实现

下面通过一个例子来实现根据BM25来进行文本检索。现在从网上爬下来了几十篇健康相关的文章，部分如下图所示。模拟输入搜索词，如“高血压患者药物”，搜素最相关的文章。

文本列表

python的实现用到了gensim库，其中的BM25实现的源码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#
# Licensed under the GNU LGPL v2.1 - http://www.gnu.org/licenses/lgpl.html

import math
from six import iteritems
from six.moves import xrange


# BM25 parameters.
PARAM_K1 = 1.5
PARAM_B = 0.75
EPSILON = 0.25


class BM25(object):

    def __init__(self, corpus):
        self.corpus_size = len(corpus)
        self.avgdl = sum(map(lambda x: float(len(x)), corpus)) / self.corpus_size
        self.corpus = corpus
        self.f = []
        self.df = {}
        self.idf = {}
        self.initialize()

    <