文本相似度计算_BM25

最新推荐文章于 2024-08-08 10:22:13 发布

#叫啥名字呢

最新推荐文章于 2024-08-08 10:22:13 发布

阅读量1.4k

点赞数

分类专栏： NLP 文章标签：文本相似度计算

本文链接：https://blog.youkuaiyun.com/weixin_40411446/article/details/80505595

版权

本文介绍了BM25算法在文本相似度计算中的应用，它基于TF、IDF和文档权重，相较于经典TF-IDF，BM25包含更多参数。文中提供了在某次比赛中的实现代码，并提及结合TextRank可以进一步提升效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BM 25也是计算TF、IDF、文档权重，只不过和经典的TFIDF表达式不同，参数也更多一些。

附上之前比赛的**版本代码，比赛结果还不错，不过如果时间充裕的话，可以把BM25和TextRank结合起来，效果会更好（在一篇论文里面看到的，有兴趣的可以去知网搜一下）

#!/usr/bin/python
#-*- coding:UTF-8-*-

import jieba
import jieba.posseg as pseg                 #引入结巴分词词性标注
import jieba.analyse
import numpy as np
import pandas
import pandas as pd
import csv
from gensim import corpora,models,similarities      #引入文本相似度库
from gensim.corpora import Dictionary
from gensim.models import TfidfModel,LdaModel
from pandas import DataFrame
from collections import defaultdict
import time

#=============================================训练集分词＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
#读取文件，主要用以生成词库

import math
class BM25(object):
    def __init__(self, docs):
        self.D = len(docs)
        self.avgdl = sum([len(doc)+0.0 for doc in do