关键词提取

基于 TF-IDF 算法的关键词抽取

1.什么是TF-IDF呢?

TF(Term Frequency)词频
IDF(Inverse Document Frequency)逆文档频率,表示一个词的大小与常见词的反比
假如我们需要通过计算机来找到文本的关键词如何查找呢，一般是统计出现最高词语的频率也就是TF词频。但是在统计词语的过程中通常会遇到如下问题—最高出现的词汇可能是”停用词”，如”的”，”是”，”在”，在文本当中有的词的重要性是不同的，假如我们统计词频发现这五个词的频率最高，如”中国”、”土地”、”房子”、”蜜蜂”、”养殖”，其中中国、土地这些词汇经常出现而蜜蜂、养殖等词语不常出现。如果某个词比较少见，但是它在这篇文章中多次出现，那么它很可能就反映了这篇文章的特性，正是我们所需要的关键词。
所以我们需要对文本词语进行一个权重处理，给蜜蜂、养殖等词语高权重，而”是”、”在”、”的”、”中国”等词语低权重等方法来处理文本。
知道了"词频"（TF）和"逆文档频率"（IDF）以后，将这两个值相乘，就得到了一个词的TF-IDF值。某个词对文章的重要性越高，它的TF-IDF值就越大。所以，排在最前面的几个词，就是这篇文章的关键词。

2.如何进行TF-IDF算法?

第一步，计算词频。
TF=某词在文章中出现的次数，考虑到文章有长短之分，为了便于不同文章的比较，进行"词频"标准化。
TF = 某词在文章中出现的次数/文章的总次数
第二步，计算逆文档频率。
这时，需要一个语料库（corpus），用来模拟语言的使用环境。
逆文档频率(IDF)=log(语料库的文档总数/包含该词的文档数+1)
如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有