jieba-基于TextRank关键词提取的实现

jieba-基于TextRank关键词提取的实现

---

• 对每个句子进行分词和词性标注处理
• 过滤掉除指定词性外的其他单词，过滤掉出现在停用词表的单词，过滤掉长度小于2的单词
• 将剩下的单词中循环选择一个单词，将其与其后面4个单词分别组合成4条边。

例如：[‘有’,‘媒体’, ‘曝光’,‘高圆圆’, ‘和’, ‘赵又廷’,‘现身’, ‘台北’, ‘桃园’,‘机场’,‘的’, ‘照片’]对于‘媒体‘这个单词，就有（‘媒体’, ‘曝光’）、（‘媒体’, ‘圆’）、（‘媒体’, ‘和’）、（‘媒体’, ‘赵又廷’）4条边，且每条边权值为1，当这条边在之后再次出现时，权值再在基础上加1.

• 有了这些数据后，我们就可以构建出候选关键词图，图的概念有基础的人可能会很好理解，不理解其实也没关系，按上面例子，你只用知道这一步我们把2个单词组成的边，和其权值记录了下来。
• 这样我们就可以套用TextRank的公式，迭代传播各节点的权值，直至收敛。
• 对结果中的Rank值进行倒序排序，筛选出前面的几个单词，就是我们需要的关键词了。

实现代码：

#encoding=utf-8
from __future__ import unicode_literals
import sys
sys.path.append(