BM25原理概述

BM25原理及评分公式介绍

最新推荐文章于 2025-11-23 19:21:38 发布

原创最新推荐文章于 2025-11-23 19:21:38 发布 · 905 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#算法

1️⃣设定：对于查询 $Q={q1,q2,...,qn}Q\text{=}\{q_1,q_2,...,q_n\}$ 和段落集 $P={P(1),P(2),…,P(N)}\mathscr{P}\text{=}\left\{P^{(1)},P^{(2)},\ldots,P^{(\text{N})}\right\}$ ，其中 $P(α)={p1(α),p2(α),...,pm(α)}P^{(\alpha)}\text{=}\left\{p^{(\alpha)}_1,p^{(\alpha)}_2,...,p^{(\alpha)}_m\right\}$

2️⃣逆文档频率： $IDF(qi)=log⁡(N–DF(qi)+0.5DF(qi)+0.5+1)\displaystyle{}\text{IDF}(q_i)\text{=}\log\left(\cfrac{\text{N}–\text{DF}(q_i)\text{+}0.5}{\text{DF}(q_i)\text{+}0.5}\text{+}1\right)$

段落频： $DF(qi)\text{DF}(q_i)$ 为文档频率，即在 $P={P(1),P(2),…,P(N)}\mathscr{P}\text{=}\left\{P^{(1)},P^{(2)},\ldots,P^{(\text{N})}\right\}$ 中有多少个段落包含词汇 $q_i$
含义：用于评估词 $q_i$ 在段落集 $P\mathscr{P}$ 中的稀有程度， $IDF\text{IDF}$ 值越高越稀有

1️⃣ $BM25\text{BM25}$ 评分： $Score(Q,P(α))=∑i=1nIDF(qi)×(k1+1)TF(qi,P(α))TF(qi,P(α))+k1(1–b+b∣P(α)∣avgdl)\displaystyle{}\text{Score}\left(Q,P^{(\alpha)}\right)\text{=}\sum_{i=1}^{n}\text{IDF}(q_i)\text{×}\cfrac{(k_1\text{+}1)\text{TF}\left(q_i,P^{(\alpha)}\right)}{\text{TF}\left(q_i,P^{(\alpha)}\right)\text{+}k_1\left(1–b\text{+}\cfrac{b|P^{(\alpha)}|}{\text{avgdl}}\right)}$

词频： $TF(qi,P(α))\text{TF}\left(q_i,P^{(\alpha)}\right)$ 为词频，即 $q_i$ 在 $P(α)P^{(\alpha)}$ 中出现的总次数
归一化：即 $1–b+b∣P(α)∣avgdl1–b\text{+}\cfrac{b|P^{(\alpha)}|}{\text{avgdl}}$ ，其中 $avgdl\text{avgdl}$ 是段落的平均长度，抹除长文档的固有相似度偏好
调参： $k_1$ 与 $b$ 可供调整，适应不同的检索任务