向量相似度算法，BM25，Jelinek-Mercer平滑

最新推荐文章于 2025-10-20 13:45:35 发布
原创 最新推荐文章于 2025-10-20 13:45:35 发布 · 4.9k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#信息检索 #算法 #平滑 #向量相似度 #语言

本文介绍了向量相似度算法的基础，详细阐述了BM25算法及其调整参数k1和b的作用，并探讨了Jelinek-Mercer平滑在语言模型中的应用，通过实例展示了如何评估查询与文档的相关性。

完整的来说，一下算法包括三个函数，分别是向量相似度基本算法，BM25，语言模型方法（Jelinek-Mercer平滑）或者叫线性插值LM
向量相似度基本算法公式为：


其中w表示权重，d表示文档。权重的计算公式为w= idf为逆文档频率

BM2公式为：

均长度。

其中，k1，b为调节因子，通常根据经验设置，一般k1=2，b=0.75

最低0.47元/天 解锁文章
【2025算法面试通关】【五.自然语言处理-传统NLP】【34.自然语言处理面试题解析：TF-IDF与词袋模型、隐马尔可夫模型（HMM）词性标注 】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-09 661
答：将文本视为无序的词集合，忽略语法和词序，通过统计词频构建向量表示，每个维度对应一个词，值为词频。
第七章：搜索业务场景应用
AI天才研究院
05-01 991
第七章：搜索业务场景应用 1. 背景介绍 1.1 搜索技术的重要性 在当今信息时代,数据的爆炸式增长使得有效地检索和利用信息成为一个关键挑战。搜索技术作为一种高效的信息检索手段,已经广泛应用于各种领域,包括网络搜索引擎、电子商务平台、社交媒体、企
Jelinek-Merer与Absolute discounting 平滑方法
约定的博客
03-08 1459
Jelinek-Merer Jelinek-Merer平滑方法的基本思想是利用低元n-gram模型对高元n-gram模型进行线性插值。 PML(wi∣wi−1)=c(wi,wi−1)c(wi−1)P_{ML}(w_i|w_{i-1})=\dfrac{c(w_i,w_{i-1})}{c(w_{i-1})}PML​(wi​∣wi−1​)=c(wi−1​)c(wi​,wi−1​)​ c(wi,wi−1)c(w_i,w_{i-1})c(wi​,wi−1​)是指词i和词i-1共同出现的次数。 PML(wi)=c(w
搜索算法相似度问题之BM25
炼丹笔记
01-06 1814
在实践中，无论是搜索问题，还是文本问题，如何找到相似的文本都是一个常见的场景，但TFIDF文本相似度计算用多了，年轻人往往会不记得曾经的经典。毕业快4年了，最近准备梳理一下《我毕业这4年》，在整理文档时看到了好久之前的一个比赛，想起了当时TFIDF、BERT的方案都没在指标上赢过BM25的情景，本期我们来聊一聊相似文本搜索的相关知识点。 BM25是信息索引领域用来计算Query与文档相似度得分的经...
BM25算法概述
最新发布
qq_54708219的博客
10-20 1082
BM25是一个强大而高效的检索算法，它比传统的TF-IDF模型更加精细和健壮。非线性TF处理：避免了高频词的过度主导。智能长度归一化：有效解决了长文档在统计上的优势。坚实的理论基础：源于概率检索模型。因此，BM25被广泛应用于各种搜索引擎和检索系统中，包括Elasticsearch和Lucene等知名开源项目，至今仍是许多实际应用的基准检索算法。q_iq_i。
【短文本相似度】传统方法BM25解决短文本相似度问题
u013602059的专栏
03-23 1330
之前介绍过TF-IDF计算短文本相似度，见：传统方法TF-IDF解决短文本相似度问题，想着就把这一系列都介绍完吧，也算是自己的归纳总结，今天就介绍一下如何使用BM25算法计算短文本相似度。 上一篇短文本相似度算法研究文章中，我们举过这样一个场景，在问答系统任务（问答机器人）中，我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答，我们将这些配置好的问题称之为“标准问”。当用户进行提问时，...
向量相似度计算过程：
月夜楓
10-16 8229
1，首先应用tf * idf模型，得到关键字在全文中的权重： TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。 1）词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化，以防止它偏向长的文件。 对于在某一特定
向量的相似度计算常用方法
热门推荐
G_persist的博客
06-02 1万+
向量的相似度计算常用方法相似度的计算简介   关于相似度的计算，现有的几种基本方法都是基于向量（Vector）的，其实也就是计算两个向量的距离，距离越近相似度越大。在推荐的场景中，在用户-物品偏好的二维矩阵中，我们可以将一个用户对所有物品的偏好作为一个向量来计算用户之间的相似度，或者将所有用户对某个物品的偏好作为一个向量来计算物品之间的相似度。下面我们详细介绍几种常用的相似度计算方法。共8种。每人...
现代信息检索核心理论与技术详解
课件还对比了不同平滑策略下的语言模型（Language Models in IR），展示了如何利用n-gram模型进行查询似然估计，并讨论了Jelinek-Mercer和平滑Dirichlet先验等技术的应用场景与效果差异。这些模型不仅奠定了经典信息...
7、信息检索中的优化与挑战
weixin_36364707的博客
05-15 453
本文深入探讨了信息检索中的关键技术点，包括查询优化、相关性建模、评估指标选择、新颖性与多样性以及用户模型等内容，并结合实际案例进行分析，旨在为用户提供高效、精准、个性化的信息获取体验。
向量（文本）相似度（或点的距离）的计算方案汇总
qq_40794377的博客
05-16 1万+
       鉴于日常学习中常遇到将文本数据等转为向量，然后计算向量相似度的问题，现将常用方案进行初步汇总，如统计不足敬请留言提示补充：1、余弦相似度（cosine）        公式：                                    similarity=cos(θ)=A⋅B∥A∥∥B∥=∑i=1nAi×Bi∑i=1n(Ai)2−−−−−−−√×∑i=1n(Bi)2−−−...
Lucene示例 BM25相似度计算
04-09
用lucene 4.7.1做的一个Lucene构建索引、进行查询，对比默认的相似度计算与BM25相似度计算输出结果的示例。内容不多，供新手参考
两个向量之间的相似度计算常用方法
wwwsssZheRen的博客
11-29 9956
在实际应用中，用传统方法计算完特征descriptors之后需要对两个特征之间的相似度进行判别，这就涉及到向量相似度的比较。关于向量相似度的计算，现有的几种基本方法都是基于向量的，其实也就是计算两个向量之间的距离，距离越大相似度越大。 参考编程案例： bool ComputeDecsDistance(vector<float> descriptors1...
BM25相似度与余弦相似度的对比
BigData
04-26 1765
在进一步讨论相关度和评分之前，我们会以一个更高级的话题结束本章节的内容：可插拔的相似度算法（Pluggable Similarity Algorithms）。 Elasticsearch 将实用评分算法作为默认相似度算法，它也能够支持其他的一些算法，这些算法可以参考相似度模块文档。 Okapi BM25 能与 TF/IDF 和向量空间模型媲美的就是Okapi BM25，它被认为是...
[文本语义相似] 基于bm25算法
MachineLP的专栏
05-17 1767
文本相似在问答系统中有很重要的应用，如基于知识的问答系统（Knowledge-based QA），基于文档的问答系统（Documen-based QA），以及基于FAQ的问答系统（Community-QA）等。像对于问题的内容，需要进行相似度匹配，从而选择出与问题最接近，同时最合理的答案。本节介绍基于bm25算法。 代码如下： import math import jieba from utils import utils # 测试文本 text = ''' 自然语言处理是计算机科学领域...
BM25 文本相似度算法
小小码农
07-11 6325
BM25, 下一代的TF-IDF 新版的lucence不再把TF-IDF作为默认的相关性算法，而是采用了BM25(BM是Best Matching的意思)。BM25是基于TF-IDF并做了改进的算法。 BM25算法，通常用来作搜索相关性评分。 一句话概况其主要思想：对Query进行语素解析，生成语素qi；然后，对于每个搜索结果D，计算每个语素qi与D的相关性得分，最后，将qi相对于D的相关性得分进...
两种主流检索技术：BM25（基于关键词匹配）和向量相似度检索
Cachel Wood的博客
05-27 889
摘要： 检索层是信息检索系统的核心模块，支持文本匹配、知识库检索和RAG（检索增强生成）等应用。主流技术包括BM25（基于关键词匹配）和向量相似度检索（基于语义向量）。 BM25作为无监督模型，通过词频统计和逆文档频率（IDF）计算文档相关性，适合短文本关键词检索（如电商搜索），具有高效、可解释性强的特点，但无法处理语义和长查询。示例代码展示了BM25的中文实现流程。 对比：BM25依赖关键词匹配，轻量快速；向量检索捕捉语义但需预训练模型。两者适用于不同场景，如传统搜索（BM25）或语义敏感任务（向量检索）
Elasticsearch 相似度算法 TF-IDF 与 BM25 简要说明（qbit）
2501_92998912的博客
09-20 467
简要说明TF-IDF与BM25简要说明BM25下k1和b参数调整。
句子相似 BM25 python 实现
FREEDOM
09-20 2807
# -*- coding: utf-8 -*- import math class BM25(object): def __init__(self, docs): """ :param docs: 分好词的list """ self.D = len(docs) self.avgdl
bm25-ranking-php：应用BM25算法对Reuter文档进行高效排序
- **bm25-ranking-php**: 标题表明这个项目或脚本是用PHP编写的，用于实现BM25排序算法，对一组文档进行排序。BM25是信息检索领域中常用的一种相关性评分算法，通常用于搜索引擎中对搜索结果进行排名。 - **使用...
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值