TF-IDF和BM25原理和区别

TF-IDF

TF-IDF是TF（词频，Term Frequency）和IDF（逆文档频率，Inverse Document Frequency）的乘积。我们先来看他们分别是怎么计算的：

TF的计算有多种方式，常见的是

除以文章总词数是为了标准化

IDF为:

如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词）。log表示对得到的值取对数，求log是为了归一化，保证IDF不会过大。

所以TF-IDF 的计算就是：

以下有几个细节点的理解：

1. IDF表征的是区分度、稀缺性，用以评估一个单词在语料库中的重要程度，一个词在少数几篇文档中出现的次数越多，它的IDF值越高，如果这个词在大多数文档中都出现了，这个值就不大了。从公式也可以看出来，由于log函数是单增函数，