用于分类的TF-IDF算法

TF (term frequency)– 词语频率

定义：用于统计一词语在一文档的频率。比如一文档的总词语数是100个，而词语”公牛“出现了3次，那么”公牛”在该文档的词频则为0.03（3/100）。

DF(document frequency) – 文档频率

还是以上面的词语“公牛”为例子。计算DF的方法是计算有多少份文档出现过“公牛”这个词语，除以文档集合中的包含的文档总数。如果“公牛”一词在10份文档出现过，而文档总数是10000份的话，其文档频率为0.001(10/10000)。

IDF(inverse document frequency) – 逆文档频率

逆文档频率为，为文档频率的倒数，再求log值。公式：

IDF=

TF-IDF

某一特定文档内的高词语频率，以及该词语在整个文档集合中的低文档频率，可以产生出高权重的TF-IDF。

理论依据

TFIDF算法是建立在这样一个假设之上的：对区别文档最有意义的词语应该是那些在文档中出现频率高，而在整个文档集合的其他文档中出现频率少的词语，所以如果特征空间坐标系取TF词频作为测度，就可以体现同类文本的特点。另外考虑到单词区别不同类别的能力，TFIDF法认为一个单词出现的文档频率越小，它区别不同类别文档的能力就越大。因此引入了逆文档频率IDF的概念，以TF和IDF的乘积作为特征空间坐标系的取值测度，并用它完成对权值TF的调整，调整权值的目的在于突出重要单词，抑制次要单词。

不足

本质上IDF是一种试图抑制噪音的加权 ，并且单纯地认为文档频率小的单词就越重要，文档频率大的单词就越无用，显然这并不是完全正确的。IDF的简单结构并不能有效地反映单词的重要程度和特征词的分布情况，使其无法很好地完成对权值调整的功能，所以TFIDF法的精度并不是很高。　此外，在TFIDF算法中并没有体现出单词的位置信息

参考：

TF-IDF — Term Frequency-Inverse Document Frequency – LearnDataSci

逆文档频率_百度百科