TFIDF关键词提取简介

TFIDF原理

对于若干个文章的集合，我们要提取每篇文章具有代表性的关键词，我们应该怎么做呢？

最直观也是最容易想到的方法，就是统计每个词汇在文章中出现的频率TF（term frequency），频率高的就是具有代表性的词汇。TF的计算方法如下：

                                                           

另外一点，举个例子，我们有三类文章A,B,C，首先这3篇文章都有一个高频率词汇“中国”（而且是频率最高的词汇），其次，A文章第二高频词汇为“体育”，B“艺术”，C“音乐”；请问，你觉得“中国”可以作为ABC任意一片文章最具有代表性的词汇吗？明显不可以。所以，除了考虑词汇的频率之外，还需考虑词汇在其他文档当中出现的概率，我们通常认为：如果一个词汇在某篇文章中出现了，而在其他文章中没有出现，则该词汇更偏向于是该文章的关键词。我们用一下公式来衡量：

                                                

综合考虑以上两个关键词要素，我们可以得到TFIDF的计算公式：

                                                  

参考文献：

[1] tfidf - wiki

[2] TF-IDF与余弦相似性的应用（一）：自动提取关键词