【FocusSpider】TF-IDF算法

2019独角兽企业重金招聘Python工程师标准>>>

TF-IDF（term frequency–inverse document frequency）是一种用于信息检索与数据挖掘的常用加权技术。

用于评估一个词对于一个文件或者一个语料库中的其中一份文件的重要程度。

字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着他在语料库中出现的频率成反比下降。

原理： 如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

TF*IDF

TF 词频 ：表示词条在文档 d 中出现的频率 IDF（逆向文件频率） 包含词条 t 的文档越少，也就是 n 越小， IDF 越大，则说明 t 具有很好的类别区分能力。

缺点：如果某一类文档 C 中包含词条 t 的文档数为 m ，其他类包含 t 的文档总数为 k ，显然所有包含 t 的文档书 n=m+k ，当 m 大的时候，n 也大，IDF值变小，说明 词条 t 的类别区分能力不强，但是实际上，如果某一词条在 一个类的文档中出现频率较高，则该词条能够很好的代表这个类的文本的特征。这样的词条应该给予较高的权重。

词频： 防止其偏向较长的文件，实现归一化。 分子是该词在文件中的出现次数，而分母则是在文件中所有字词的出现次数之和。

或者

逆向文件频率（inverse document frequency，IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到：

计算 TF*IDF

以《中国的蜜蜂养殖》为例，假定该文长度为1000个词，"中国"、"蜜蜂"、"养殖"各出现20次，则这三个词的"词频"（TF）都为0.02。然后，搜索Google发现，包含"的"字的网页共有250亿张，假定这就是中文网页总数。包含"中国"的网页共有62.3亿张，包含"蜜蜂"的网页为0.484亿张，包含"养殖"的网页为0.973亿张。则它们的逆文档频率（IDF）和TF-IDF如下：

转载于:https://my.oschina.net/whitejavadog/blog/876856