经典检索算法：BM25算法

最新推荐文章于 2025-07-09 15:45:31 发布
转载 最新推荐文章于 2025-07-09 15:45:31 发布 · 3.4k 阅读 · 12

本文深入探讨了BM25算法，一种评估搜索词与文档相关性的有效方法。BM25基于概率检索模型，通过计算查询词与文档集合中每篇文档的相关性分数，来确定文档与查询间的匹配程度。该算法将查询切分成单词，对每个单词计算其与文档的相关性和权重，最终汇总得出总的相关性分数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

bm25 是什么？
bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模型提出的算法，再用简单的话来描述下bm25算法：我们有一个query和一批文档Ds，现在要计算query和每篇文档D之间的相关性分数，我们的做法是，先对query进行切分，得到单词 q i q_i qi​，然后单词的分数由3部分组成：

单词 q i q_i qi​和D之间的相关性
单词 q i q_i qi​和D之间的相关性
每个单词的权重

最后对于每个单词的分数我们做一个求和，就得到了query和文档之间的分数。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

参考：https://www.jianshu.com/p/53e379483f3e
https://www.jianshu.com/p/1e498888f505

信息检索中的经典算法——BM25
白马负金羁
10-25 7110
BM25（Best Match25）是在信息检索系统中根据提出的query对document进行评分的算法。它主要由Stephen E. Robertson, Karen Spärck Jones等人在上世纪70到80年代提出。BM25算法首先由Okapi系统实现（Okapi是伦敦城市大学实现的信息检索系统），所以又称为Okapi BM25
两种主流检索技术：BM25（基于关键词匹配）和向量相似度检索
Cachel Wood的博客
05-27 467
摘要： 检索层是信息检索系统的核心模块，支持文本匹配、知识库检索和RAG（检索增强生成）等应用。主流技术包括BM25（基于关键词匹配）和向量相似度检索（基于语义向量）。 BM25作为无监督模型，通过词频统计和逆文档频率（IDF）计算文档相关性，适合短文本关键词检索（如电商搜索），具有高效、可解释性强的特点，但无法处理语义和长查询。示例代码展示了BM25的中文实现流程。 对比：BM25依赖关键词匹配，轻量快速；向量检索捕捉语义但需预训练模型。两者适用于不同场景，如传统搜索（BM25）或语义敏感任务（向量检索）
深入理解信息检索之BM25算法
qq_45141261的博客
12-18 2479
BM25作为经典的文本相关性评分算法，凭借其简单、高效和鲁棒性，在信息检索领域占据了重要地位。尽管存在一定的局限性，但通过改进和扩展，BM25能够适应更多复杂的场景需求。在现代搜索系统中，BM25依然是不可或缺的基础工具，同时与深度学习模型的结合也为未来的信息检索技术提供了更多可能性。
BM25 ：The Probabilistic Relevance Framework:BM25 and Beyond——概率相关性框架：BM25 及其超越
Together_CZ的博客
07-09 801
BM25 ：The Probabilistic Relevance Framework: BM25 and Beyond——概率相关性框架：BM25 及其超越
信息检索之BM25算法
m0_37565948的博客
03-18 919
BM25算法参考文档，搜索引擎中的相关应用。 import math import jieba class BM25(object): def __init__(self, docs): self.D = len(docs) # 训练集的文本数量 self.avgdl = sum([len(doc)+0.0 for doc in docs])/s...
检索算法: BM25原理详解
狗狗狗大王的博客
03-23 3939
简介 BM25算法常用来进行搜索。 输入问题Q0Q_0Q0​，在数据中去匹配其它Q时，可以用BM25进行排序。 "BM"其实就是指Best Matching。 BM25也称Okapi BM25。"Okapi"其实是第一个使用BM25进行检索的系统名字。 Function BM25其实代表着一个家族。这个家族里的式子互相之间可能会有一些成分、参数的差异，但它们同根同源。 这个家族里最常见的成员，它的写法是这样的： 其中： f(qi,D)f(q_i, D)f(qi​,D) 是qiq_iqi​在文档D中的Ter
了解 BM25：一种高效的文本检索算法
Harry的博客
01-17 6018
BM25 是一个经典且实用的文本检索算法，它不仅具备高效的性能，还可以轻松适配各种实际应用场景。如果你正在构建搜索或推荐系统，BM25 是一个值得探索的工具！虽然 BM25 在许多应用中表现优异，但它的缺点表明，单独使用 BM25 并不能完全满足现代信息检索需求。在实际项目中，常常需要将 BM25 与其他技术（如深度学习模型）结合使用，以弥补其在语义理解、上下文建模和动态适应性方面的不足。k_1bk_1b。
山东大学信息检索课设：BM25算法Python实现详解
以上就是从给定文件信息中提取的相关知识点，这些信息涵盖了信息检索技术的核心概念、BM25算法、Python编程、以及一个高校课程设计的具体实现过程。通过对这些文件的分析，我们可以了解到一个信息检索系统的构建和...
大模型RAG实战｜混合检索：BM25检索+向量检索的LlamaIndex实现
mama19971023的博客
08-06 5330
目前，大模型RAG系统中普遍采用混合检索来提升检索准确性。针对要回答的问题，同时通过。
NLP之BM25：BM25算法的简介、相关库、案例应用之详细攻略
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
11-05 1685
​ NLP之BM25：BM25算法的简介、相关库、案例应用之详细攻略 目录 BM25算法的简介 BM25算法的相关库 BM25算法的案例应用 BM25算法的简介 1、BM25算法的概述 背景 词项频率权重问题：传统的TF-IDF假定词项频率与相关性成正比，但实际上，当词项在文档中出现次数较多时，相关性得分并不线性增加。BM25通过使用平方根函数来更好地建模这种情况。 >> TF-IDF算法仅考虑了词项在文档中的出现次数，而没有考虑词项频率的增长对相关性的递减效果。例如，当一个词项在文
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
丨汀、的博客
01-08 2558
深入理解TF-IDF、BM25算法与BM25变种：揭秘信息检索的核心原理与应用
BM25 (Best Matching 25) 算法
最新发布
mayaohao的博客
07-09 435
算法，用于计算查询 (query) 与文档 (doc) 之间的相关性得分。BM25 是信息检索领域中经典的排序算法，在搜索引擎和文档检索系统中广泛使用。参数，BM25 可以适应不同类型的文本数据（如新闻、社交媒体、学术论文等）。
BM25算法：信息检索中的经典排序模型
qq_74152460的博客
03-01 1479
BM25算法是由Robertson和Walker在1994年提出的，它是Okapi信息检索系统的一部分。BM25是基于概率检索模型的改进版本，旨在克服传统TF-IDF（词频-逆文档频率）方法的一些局限性。BM25不仅考虑了词频和文档频率，还引入了文档长度归一化等因素，从而更好地反映文档与查询的相关性。BM25是一种经典且高效的信息检索算法，通过引入文档长度归一化和词频饱和等机制，能够更好地评估文档与查询的相关性。
BM25算法以及变种算法简介
yanqianglifei的专栏
06-04 2661
Okapi BM25，一般简称 BM25 算法，在 20 世纪 70 年代到 80 年代，由英国一批信息检索领域的计算机科学家发明。这里的 BM 是 “最佳匹配”（Best Match）的缩写，Okapi 是第一个使用这种方法的信息获取系统的名称。在信息检索领域，BM25 算法是工程实践中举足轻重的重要的 Baseline 算法。迄今为止距 BM25 的提出已经过去三十多年，但是这个算法依然在很多信息检索的任务中表现优异，是很多工程师首选的算法之一。
BM25
Techstone的专栏
12-10 442
http://luokr.com/p/7
BM25：信息检索的核心算法解析
诸神缄默不语的博客
11-21 3309
本文介绍BM25算法
信息检索笔记 — 概率模型 & BM25
weixin_43661223的博客
05-11 1017
概率模型 1.原理假设 存在一个理想的answer set（R)(系统检索到的文件集) —— 一组包含所有相关文档和没有无关文档的文档集。 因为我们不知道理想答案集的属性是什么，所以我们尝试通过初始猜测向用户返回一组合理的初始文档。 查询过程:试图指定R的实际属性的过程。(R的性质-集合的数学特征，用指标项来描述) 特性:用户交互——给用户一个文档集，用户将反馈哪些文档是相关的。然后系统将使用反馈来细化结果。 这是一个重复的过程，理想情况下，用户验证的相关文档集最终等于R。 概率模型的过程 用户有
python根据BM25实现文本检索
热门推荐
github_39281554的博客
06-23 1万+
根据BM25实现文本检索
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值