数据挖掘
关注
分享
扫一扫
gate1001
这个作者很懒，什么都没留下…
展开
-
TF-IDF与余弦相似性的应用二(系列三篇)
上一次，我用TF-IDF算法自动提取关键词。今天，我们再来研究另一个相关的问题。有些时候，除了找到关键词，我们还希望找到与原文章相似的其他文章。比如，"Google新闻"在主新闻下方，还提供多条相似的新闻。为了找出相似的文章，需要用到"余弦相似性"（cosine similiarity）。下面，我举一个例子来说明，什么是"余弦相似性"。为了简单起见，我们先从句子着手转载 2014-01-27 15:35:18 · 904 阅读 · 0 评论 -
TF-IDF与余弦相似性的应用（三）：自动摘要(系列三篇)
有时候，很简单的数学方法，就可以完成很复杂的任务。这个系列的前两部分就是很好的例子。仅仅依靠统计词频，就能找出关键词和相似文章。虽然它们算不上效果最好的方法，但肯定是最简便易行的方法。今天，依然继续这个主题。讨论如何通过词频，对文章进行自动摘要（Automatic summarization）。如果能从3000字的文章，提炼出150字的摘要，就可以为读者节省大量阅读转载 2014-01-27 15:36:47 · 1055 阅读 · 0 评论 -
TF-IDF与余弦相似性的应用一(系列三篇)
TF-IDF与余弦相似性的应用（一）：自动提取关键词这个标题看上去好像很复杂，其实我要谈的是一个很简单的问题。有一篇很长的文章，我要用计算机提取它的关键词（Automatic Keyphrase extraction），完全不加以人工干预，请问怎样才能正确做到？这个问题涉及到数据挖掘、文本处理、信息检索等很多计算机前沿领域，但是出乎意料的是，转载 2014-01-27 15:33:20 · 901 阅读 · 0 评论