TF-IDF与余弦相似性的应用

阮一峰老师的博客写的相当详细了，非常佩服，在这里记录一下链接

一）：自动提取关键词

url: http://www.ruanyifeng.com/blog/2013/03/tf-idf.html

笔记：

分母+1目的是防止所有文档都不包含该词（未登录词）

利用tf-idf方法：

优点 是简单快速，结果比较符合实际情况。

缺点 是这种算法无法体现词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的。（一种解决方法是，对全文的第一段和每一段的第一句话，给予较大的权重。

 

二）：找出相似文章

url: http://www.ruanyifeng.com/blog/2013/03/cosine_similarity.html

更详细的参看 吴军 《数学之美》 P₁₂₇

 

三）：自动摘要

url: http://www.ruanyifeng.com/blog/2013/03/automatic_summarization.html