利用TF-IDF 提取文章关键词

当我们拿到一篇很长的文章的时候，TF-IDF 可以帮助我们确定 文章的关键词，往往比较两篇文章的相似性，我们可以提取出两篇文章的关键词，比如两篇文章各20个关键词，接下来利用余弦相似性(cosine similarity) 就可以确定两篇文章的相似性到底有多高.

什么是TF-IDF(Term Frequency-Inverse Document Frequency)：

 TF-IDF 的主要思想是：如果某个短语或者某个词在一篇文章中出现的频率TF 高，并且在其它文章中很少出现，那么我们认为该词/短语具有良好的区别能力，适合用来分类.

TF-IDF = TF x IDF, TF 表示某个词在一篇文章中出现的频率, IDF 是逆向文件频率，表示一个词或短语重要性的权重.

如何计算TF-IDF(Term Frequency-Inverse Document Frequency)：

词频(TF) = (某个词在文章中出现的次数)/(文章的总词数)

这里会出现一个问题就是你会发现文章中出现的最多的就是“The”, "a", "In" 这列词，对结果毫无帮助，它们叫做“停用词”(Stop words)，表示对结果毫无帮助，必须过滤掉的词.

逆文档频率(IDF) = log(语料库的文档总数/(包含该词的文档数 + 1))

语料库用来模拟语言的使用环境.

如果一个词越常见，逆文档频率就越接近于0. 分母加1 是为了避免分母为0的情况(语料库的所有文档都不包含该词).

TF-IDF = TF X IDF

TF-IDF 与一个词的词频成正比，而与该词的权重或者重要性程度成反比. 所以在提