TF-IDF和BM25

TF-IDF和BM25都是信息检索领域中常用的算法，用于评估一个词在一个文档集合或语料库中的重要性。它们都是基于词频和逆文档频率的概念，但具体的计算方法有所不同。下面我将详细介绍这两种算法。

TF-IDF（Term Frequency-Inverse Document Frequency）

TF-IDF是一种统计方法，用以评估一个词对于一个文档集或一个语料库中的其中一份文档的重要性。它由两部分组成：

1. 词频（Term Frequency, TF）：指的是某一个词在文档中出现的频率。计算公式通常为：
   [
   \text{TF}(t, d) = \frac{\text{词} t \text{在文档} d \text{中出现的次数}}{\text{文档} d \text{中的总词数}}
   ]
2. 逆文档频率（Inverse Document Frequency, IDF）：指的是一个词在所有文档中的普遍重要性。计算公式通常为：
   [
   \text{IDF}(t) = \log \left( \frac{N}{\text{包含词} t \text{的文档数}} \right)
   ]
   其中，( N ) 是文档总数。

TF-IDF的最终计算公式为：
[
\text{TF-IDF}(t, d) = \text{TF}(t, d) \times \text{IDF}(t)
]

BM25（Best Match 25）