自然语言处理系列五十六》关键词提取和文本摘要》关键词提取介绍及相关算法

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】

自然语言处理系列五十六

关键词提取和文本摘要》关键词提取介绍及相关算法

关键词提取是文本挖掘领域一个很重要的部分，通过对文本提取的关键词可以窥探整个文本的主题思想，进一步应用于文本的推荐或文本的搜索。
16.1.1 关键词提取介绍及相关算法
关键词是能够表达文档中心内容的词语，常用于计算机系统标引论文内容特征、信息检索、系统汇集以供读者检阅。关键词提取是文本挖掘领域的一个分支，是文本检索、文档比较、摘要生成、文档分类和聚类等文本挖掘研究的基础性工作。从算法的角度来看，关键词提取算法主要有两类：无监督关键词提取方法和有监督关键词提取方法。

1. 无监督关键词提取方法
   不需要人工标注的语料，利用某些方法发现文本中比较重要的词作为关键词，进行关键词提取。该方法是先抽取出候选词，然后对各个候选词进行打分，然后输出topK个分值最高的候选词作为关键词。根据打分的策略不同，有不同的算法，例如TF-IDF，TextRank，LDA等算法。
   无监督关键词提取方法主要有三类：基于统计特征的关键词提取（TF,TF-IDF）、基于词图模型的关键词提取(PageRank,TextRank)、基于主题模型的关键词提取(LDA)。基于统计特征的关键词提取算法的思想是利用文档中词语的统计信息抽取文档的关键词。基于词图模型的关键词提取首先要构建文档的语言网络图，然