Tfidf

最新推荐文章于 2025-05-18 20:33:51 发布

Shingle_

最新推荐文章于 2025-05-18 20:33:51 发布

阅读量983

点赞数 1

CC 4.0 BY-SA版权

分类专栏：积少成多文章标签： tfidf 文本处理

本文链接：https://blog.youkuaiyun.com/Shingle_/article/details/51658430

积少成多专栏收录该内容

11 篇文章

订阅专栏

本文介绍了TF-IDF算法的基本原理及实现方式。TF-IDF是一种用于衡量一个词在一个文档或语料库中重要性的数值，它由两部分组成：词频(TF)和逆文档频率(IDF)。通过计算TF和IDF的乘积来评估词的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Tfidf(词频-反转文档频率）

TF代表统计部分，而IDF把权重折扣考虑了进去。

>>> import scipy as sp
>>> def tfidf(term, doc, docset):
···     tf = float(doc.count(term) / sum(doc.count(term) for doc in docset)
···     idf = math.log(float(len(docset)) / (len([doc for doc in docset 
             if term in doc]))
···     return tf * idf