本文介绍如何利用TF-IDF算法从文本中抽取关键词。通过Python的scikit-learn库，对《冰与火之歌》的小说内容进行数据采集、文档分词、停用词过滤，然后计算TF-IDF值，从而提取文章的关键词。
0. 写在前面
本文目的，利用TF-IDF算法抽取一篇文章中的关键词，关于TF-IDF，这里放一篇阮一峰老师科普好文 。
TF-IDF与余弦相似性的应用（一）：自动提取关键词 - 阮一峰的网络日志
TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。（百度百科）
TF（Term Frequency）词频，某个词在文章中出现的次数或频率，如果某篇文章中的某个词出现多次，那这个词可能是比较重要的词，当然，停用词不包括在这里。
IDF（inverse document frequency）逆文档频率，这是一个词语“权重”的度量，在词频的基础上，如果一个词在多篇文档中词频较低，也就表示这是一个比较少见的词，但在某一篇文章中却出现了很多次，则这个词IDF值越大，在这篇文章中的“权重”越大。所以当一个词越常见，IDF越低。
当计算出TF和IDF的值后，两个一乘就得到TF-IDF，这个词的TF-IDF越高就表示，就表示在这篇文章中的重要性越大，越有可能就是文章的关键词。
而Python的scikit-learn包下有计算TF-IDF的API，我们就用这个来简单的实现抽取文章关键词。
这里用到的文本数据材料则是《冰与火之歌》的1-5季（冰歌粉哈哈哈）
1. 数据采集
文本数据来源《冰与火之歌》小说在线阅读网站的内容爬取，这个的网站很多，这里就不贴出是哪一个了
最低0.47元/天 解锁文章
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
