TF-IDF关键词抽取Python实现

原理

TF（Term Frequency）：词频

$TF=\frac{该词频数}{文档词语总数}$

IDF（Inverse Document Frequency）：逆文本频率指数

$IDF=\log (\frac{文档总数}{出现该词文档数+1})$

调用jieba（免训练）

from jieba.analyse import tfidf
sentence = '佛山市科技局发布关于发展佛山市人工智能项目的通知'
print(tfidf(sentence))
print(tfidf(sentence, allowPOS=('n', 'ns', 'v', 'vn')))  # 按词性筛选
print(tfidf(sentence, allowPOS=('n', 'ns', 'v', 'vn'