TF-IDF 及代码（一种衡量关键词权重的算法）

TF（Term frequency）-词频，IDF（Inverse document frequency）-逆文本频率

TF-IDF是一种度量关键词权重的方法。主要的应用场景：（1）搜索（2）关键词提取（可用于文本分类）

刚开始的时候利用的是词频来确定关键词的权重，即 词语在语料库中出现的频率。

记作                                                                 

关键词w出现的次数除以语料库中单词总个数。

但是这种方法有一个问题，就是像“的”这种词，出现的频率特别高，但是对于最终关键词提取并没有什么作用，这类属于停用词（stop word）要去掉；还有一些词语，比如在对新闻分类的时候，“报道”这种词出现的频率也很高，每一篇文章中，并不能用这种词作为文章的关键词。

解决方案：某个词语只出现在小部分的文章中，那么它的权重应该大，作为分类关键词或者搜索关键词，是很有帮助的。这种计算权重的方法就是逆文本频率。

公式为：                                                                             

D为文章个数，为出现词w的文章个数。

在《数学之美》这本书中，作者给出的解释是“IDF的概念就是一个特定条件下关键词的概率分布的交叉