搜索相似之——BM25算法

最新推荐文章于 2024-12-18 09:26:46 发布
最新推荐文章于 2024-12-18 09:26:46 发布
阅读量764 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u013378306/article/details/78015515
NLP 专栏收录该内容
46 篇文章 ¥19.90 ¥99.00
订阅专栏
BM25算法是一种用于搜索相关性评分的公式，考虑了词频、文档长度和平均长度等因素。它基于IDF权重，并通过调节因子调整文档长度的影响。该算法广泛应用于搜索引擎中，通过计算Query语素与文档的相关性得分来确定搜索结果的排名。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.       BM25算法

BM25是二元独立模型的扩展，其得分函数有很多形式，最普通的形式如下：

 

∑ 

 

其中，k1,k2,K均为经验设置的参数，fi是词项在文档中的频率，qfi是词项在查询中的频率。

K1通常为1.2，通常为0-1000

K的形式较为复杂

 

K=

了解本专栏 订阅专栏 解锁全文
《向量数据库指南》——解锁混合搜索新纪元：Sparse-BM25与Mlivus Cloud的强强联合
实战AI智能体
12-08 145
Sparse-BM25是Mlivus Cloud团队针对稀疏向量设计的一种高效检索算法，它借鉴了Elasticsearch和其他全文搜索系统中常用的BM25算法的思想，但进行了针对性的优化和改进。在搜索查询过程中，Sparse-BM25算法会通过剪枝来丢弃那些低值的稀疏向量，从而显著减小索引的大小并以最小的质量损失达成最优的性能。本文将详细介绍如何使用统一的向量方法简化混合搜索，通过这一方法，我们可以充分利用向量数据库的强大功能，实现高效、可扩展且易维护的混合搜索系统。
BM25算法介绍
01-04
BM25算法的详细资料，需要的可以参考，比较完整的实现过程。
BM25算法浅析
小宝的专栏
07-14 1710
BM25算法浅析  BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。BM25算法的一
文本相似度-bm25算法原理及实现
北游的日常
06-04 508
原理 BM25算法，通常用来作搜索相关性平分。一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进行加权求和，从而得到Query与D的相关性得分。 BM25算法的一般性公式如下： 其中，Q表示Query，qi表示Q解析之后的一个语素（对中...
BM25算法 原理简介
热门推荐
小白_努力
09-06 2万+
bm25 是什么？ bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于概率检索模型提出的算法，再用简单的话来描述下bm25算法：我们有一个query和一批文档Ds，现在要计算query和每篇文档D之间的相关性分数，我们的做法是，先对query进行切分，得到单词$q_i$，然后单词的分数由3部分组成： query中每个单词和之间的相关性 单词$q_i$和D之间的相关性 每个单词的权重 最后对于每个单词的分数我们做一个求和，就得到了query和文档之间的分数。 ...
检索算法: BM25原理详解
狗狗狗大王的博客
03-23 3937
简介 BM25算法常用来进行搜索。 输入问题Q0Q_0Q0​，在数据中去匹配其它Q时，可以用BM25进行排序。 "BM"其实就是指Best Matching。 BM25也称Okapi BM25。"Okapi"其实是第一个使用BM25进行检索的系统名字。 Function BM25其实代表着一个家族。这个家族里的式子互相之间可能会有一些成分、参数的差异，但它们同根同源。 这个家族里最常见的成员，它的写法是这样的： 其中： f(qi,D)f(q_i, D)f(qi​,D) 是qiq_iqi​在文档D中的Ter
基于python的BM25文本匹配算法实现+源代码+文档说明
12-01
BM25算法原理参见我的博文：[【NLP】非监督文本匹配算法——BM25] 测试程序： ```python bm25 = BM25() result = bm25.cal_similarity("自然语言处理并不是一般地研究自然语言") for line, score in result: ...
FAQ问答项目代码细节————BM25+BERT句子相似度
qq_37228811的博客
12-09 2368
一、建立FAQ库 一个问题三个形式， 数据增强之后问题和答案一一对应，19MB的ask.txt，答案保存在answer0-424中，每个文件1000个回答。节省处理时间。 二、BM25初始化 目的：计算bm25公式中需要的值 1、self.titles <list> len=424043 eg：['什么是发票？','发票是什么？','发票的概念'] 2、self.se...
BM25检索算法 python
消极的人永远是对的，积极的人选择勇往直前
04-23 4845
BM25（Best Matching 25）是一种经典的信息检索算法，是基于 TF-IDF算法的改进版本，旨在解决、TF-IDF算法的一些不足之处。其被广泛应用于信息检索领域的排名函数，用于估计文档D与用户查询Q之间的相关性。它是一种基于概率检索框架的改进，特别是在处理长文档和短查询时表现出色。BM25的核心思想是基于词频(TF)和逆文档频率(IDF)来,同时还引入了文档的长度信息来计算文档D和查询Q之间的相关性。目前被广泛运用的搜索引擎ES就内置了BM25算法进行全文检索。
BM25相关度打分公式
weixin_30885111的博客
10-19 209
BM25算法是一种常见用来做相关度打分的公式，思路比较简单，主要就是计算一个query里面所有词和文档的相关度，然后在把分数做累加操作,而每个词的相关度分数主要还是受到tf/idf的影响。公式如下： R(qi,d)是每个词和文档的相关度值，其中qi代表每个词，d代表相关的文档，Wi是这个词的权重，然后所有词的乘积再做累加。 Wi可由外部设置，默认的话是idf值，公式如下，N是文档总数...
自然语言处理-BM25相关度打分
Suan2014的博客
09-30 2081
转自：https://blog.youkuaiyun.com/weixin_41090915/article/details/79053584 自然语言处理-BM25相关度打分 (注：文中大写Query、Document等代表集合，小写query、document等代表集合中的个体) 一、优缺点 适用于：在文档包含查询词的情况下，或者说查询词精确命中文档的前提下，如何计算相似度，如何对内容进行排序。 ...
BM25，超全解释
m0_72410588的博客
06-15 6012
BM25算法是一种用于信息检索的算法，可以根据文档和查询条件之间的相似度来计算文档与查询条件之间的匹配程度得分。该算法考虑了文档长度、查询项频率和文档频率等因素，并在计算匹配得分时进行加权。本篇博客详细介绍了BM25算法的原理、应用、算法流程和公式解析等方面，以及其优缺点，希望对您有所帮助。
深入理解信息检索之BM25算法
qq_45141261的博客
12-18 2472
BM25作为经典的文本相关性评分算法，凭借其简单、高效和鲁棒性，在信息检索领域占据了重要地位。尽管存在一定的局限性，但通过改进和扩展，BM25能够适应更多复杂的场景需求。在现代搜索系统中，BM25依然是不可或缺的基础工具，同时与深度学习模型的结合也为未来的信息检索技术提供了更多可能性。
大模型生成RAG评估数据集并计算hit_rate 和 mrr
jieshenai的博客
04-05 2842
本文使用大模型自动生成RAG 问答数据集。使用BM25关键词作为检索器，然后在问答数据集上评估该检索器的效果。输入是一篇文本，使用llamaindex加载该文本，使用prompt让大模型针对输入的文本生成提问。l利用 chatglm3-6B 构建CustomLLM；使用prompt和chatglm，结合文本生成对应的问题，构建RAG问答数据集；构建基于关键词的检索器；评估在数据集上的结果；
【BM25和TFIDF比较 精华】
一休
08-07 1621
TF-IDF是一种简单的加权机制，通过词频和逆文档频率来衡量单词的重要性。BM25是一种更复杂的算法，通过引入非线性词频变换和文档长度归一化，提供了更精确的文档相关性评估，适合需要高精度检索结果的应用场景。在信息检索系统中，BM25主要用于排序阶段，即对已经召回的文档进行相关性评分和排序。然而，在召回阶段，BM25本身并不是直接使用的工具。召回阶段通常依赖于索引和搜索机制来获取一个初步的文档集合，然后再对这些文档使用BM25进行排序。BM25在信息检索系统中主要用于排序阶段。
BM25模型
m0_61417342的博客
06-14 947
BM25实验
亚马逊搜索排序算法参考文献
最新发布
02-26
### 关于亚马逊搜索引擎排序算法的研究 #### 排序机制概述 现代电子商务平台如亚马逊，其搜索排序算法旨在优化用户体验，提高商品发现效率。为了实现这一目标，系统不仅考虑了传统的基于内容的匹配度，还融合了多种因素来评估和排列搜索结果。具体来说，在计算文档与查询之间的相似性时，采用了诸如BM25这样的经典评分函数[^2]。 #### 复杂性的增加：超越简单匹配 除了基本的相关性打分外，电商平台还会综合考量其他维度的信息，比如用户的浏览历史、购买行为以及社交网络影响等因素。这种多维评价体系使得最终呈现给消费者的列表更加个性化且贴近实际需求。此外，针对特定场景下的特殊处理也是不可或缺的一部分——例如促销活动期间的商品推荐权重调整等措施能够有效提升转化率。 #### 利用大型语言模型改进查询理解 近年来，随着自然语言处理技术的发展，特别是大规模预训练模型的应用，极大地增强了对复杂查询意图的理解能力。通过生成高质量的伪文档并与原有请求相结合的方式，可以显著改善初始检索表达式的精确性和覆盖面；而采用指示符指导下的假设文件构建策略，则有助于捕捉潜在关联模式而不局限于表面文字上的吻合程度[^3]。 ```python # Python代码示例展示如何模拟简单的TF-IDF加权方案用于初步筛选候选集 from sklearn.feature_extraction.text import TfidfVectorizer def calculate_tfidf_weighted_score(queries, documents): vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(documents) query_vector = vectorizer.transform([queries]) scores = (X * query_vector.T).toarray().flatten() return scores ``` 对于希望深入了解此领域的朋友而言，建议关注以下几个方面： 1. **数据驱动的方法论**：研究者们正在探索更多样化的特征组合及其交互效应； 2. **实时反馈循环的设计**：即时获取用户互动信号并据此快速迭代优化现有架构； 3. **跨域迁移学习的可能性**：借鉴通用NLP成果加速垂直行业内的创新进程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

life1024

你的鼓励将是我创作的最大动力。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值