Tfidf

最新推荐文章于 2019-04-11 10:10:37 发布

原创最新推荐文章于 2019-04-11 10:10:37 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#tfidf #文本处理

积少成多专栏收录该内容

11 篇文章

订阅专栏

本文介绍了TF-IDF算法的基本原理及实现方式。TF-IDF是一种用于衡量一个词在一个文档或语料库中重要性的数值，它由两部分组成：词频(TF)和逆文档频率(IDF)。通过计算TF和IDF的乘积来评估词的重要性。

Tfidf(词频-反转文档频率）

TF代表统计部分，而IDF把权重折扣考虑了进去。

>>> import scipy as sp
>>> def tfidf(term, doc, docset):
···     tf = float(doc.count(term) / sum(doc.count(term) for doc in docset)
···     idf = math.log(float(len(docset)) / (len([doc for doc in docset 
             if term in doc]))
···     return tf * idf