TF-IDF算法详解及sklearn代码实现

最新推荐文章于 2025-06-10 15:54:49 发布
最新推荐文章于 2025-06-10 15:54:49 发布
阅读量8.3k 收藏 39
点赞数 6
CC 4.0 BY-SA版权
分类专栏： 机器学习 代码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gxc19971128/article/details/106544303
TF-IDF是一种衡量词在文档中重要性的加权技术，适用于信息检索和文本挖掘。它由词频TF和逆文档频率IDF组成，高TF和低IDF的词具有更好的类别区分能力。sklearn提供了CountVectorizer进行TF-IDF计算，jieba库也可实现TF-IDF算法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

 

1.基本介绍

（1）TF（词频 Term Frequency）

（2）IDF（逆向文件频率 Inverse Document Frequency）

（3）TF-IDF=TF*IDF

代码实现：

（1）sklearn代码实现

（2）Jieba实现TF-IDF算法

1.基本介绍

定义：TF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文本频率)。TF指词频，IDF指的是逆文本频率。TF-IDF是一种用于信息检索与数据挖掘的常用加权技术，可以评估一个词在一个文件集或者一个语料库中对某个文件的重要程度。一个词语在一篇文章中出现的次数越多，同时在所有文章中出现的次数越少，越能够代表该文章的中心意思，字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降，这就是TF-IDF的含义。适用于信息检索、文本挖掘的常用加权技术。

 TF-IDF的主要思想是：如果某个单词在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。

（1）TF（词频 Term Frequency）

词频表示词条（关键字）在文本中出现的频率。这个数字通常会被归一化(一般是词频除以文章总词数), 以防止它偏向长的文件。

公式：

 

 词条W在一个文件中出现的次数/该文件中所有词条数目

         其中 ni,j 是该词在文件 dj 中出现的次数，分母则是文档 dj 中所有词汇出现的次数总和；

（2）IDF（逆向文件频率 Inverse Document Frequency）

某一特定词语的IDF，可以由总文件数目除以包含该词语的文件的数目，再将得到的商取对数得到

最低0.47元/天 解锁文章

200万优质内容无限畅学
sklearn中的TF-IDF
慌
07-18 399
在sklearn中TF-IDF的默认公式： 在sklearn中tf为由词袋模型得出的矩阵，即词频且不对其进行归一化处理：tf(d,t)=n(d,t)即词d在文档t中的数量tf_{(d,t)} = n_{(d,t)}\quad 即词d在文档t中的数量tf(d,t)​=n(d,t)​即词d在文档t中的数量 当smooth_idf=True即default的时候： idf(d,t)=log((1+n)/...
TF-IDF算法的代码实现
KujyouRuri的博客
06-25 668
引入依赖 import numpy as np import pandas as pd 定义数据和预处理 docA = "The cat sat on my bed" docB = "The dog sat on my knees" ​ bowA = docA.split(" ") bowB = docB.split(" ") bowA ​ # 构建词库 wordSet = set(bowA).union(set(bowB)) wordSet Out[3]: {'The', 'bed', '.
sklearn中的tf-idf计算详解
weixin_43320381的博客
05-05 5656
教科书上的tf-idf公式是长这样的： tf×idf(i,j)=tfij×idfi=nij∑knkj×log(∣D∣1+∣Di∣)tf \times idf(i,j) = tf_{ij} \times idf_i = \frac {n_{ij}}{\sum_{k}{n_{kj}}} \times log\left(\frac{|D|}{1+|D_i|}\right)tf×idf(i,j)=tfij...
TF-IDF详解
最新发布
m0_53387935的博客
06-10 89
TF-IDF（Term Frequency – Inverse Document Frequency）是一种用于信息检索与文本挖掘的常用技术。
python使用scikit-learn计算TF-IDF
热门推荐
和而不流
03-14 1万+
本文转载自：Eastmount大神的文章： http://www.voidcn.com/article/p-bbabkmsv-pt.html 1 Scikit-learn下载安装 1.1 简介 1.2 安装软件 2 TF-IDF基础知识 2.1 TF-IDF概念 2.2 举例说明计算 3 Scikit-Learn中计算TF-IDF 3.1 CountVectorizer ...
TF-IDF算法（纯代码）
weixin_65259109的博客
04-13 865
TF-IDF算法的核心思想是，对于一个词在一篇文档中出现得越多，且在整个语料库中出现得越少，它就越能够代表这篇文档的主题或关键信息。它是根据单词在文本中的出现频率和在整个语料库中的文档频率来计算的，其中TF代表词频，IDF代表逆文档频率。其中$w$表示某个单词，$n{w,d}$表示单词$w$在文档$d$中出现的次数，$\sum{i=1}^{n} n_{i,d}$表示文档$d$中所有单词出现的总次数。其中$N$是文档总数，$df_w$是包含单词$w$的文档数。
TF-IDF算法详解
2301_79262050的博客
06-14 1713
文档（Document）：在信息检索中，文档通常是指一个文本文件，可以是一篇文章、一段文字或其他形式的文本。词项（Term）：词项是指文档中的一个单词或短语。在TF-IDF中，词项一般是单词。词频（Term Frequency, TF）：词频表示一个词项在一个文档中出现的次数。逆文档频率（Inverse Document Frequency, IDF）：逆文档频率是一个衡量词项在整个文档集合中普遍性的指标。TF-IDF是词频（TF）和逆文档频率（IDF）的乘积，用来评估一个词项在一个文档中的重要性。
TF-IDF算法解析与Python实现方法详解
09-21
TF-IDF算法是一种在信息检索和文本挖掘领域广泛使用的加权技术，它的核心目标是量化一个词在文档中的重要性。TF-IDF的计算由两部分组成：词频(Term Frequency, TF)和逆文档频率(Inverse Document Frequency, IDF)。 ...
文本数据抽取与分类：词袋法与TF-IDF算法详解及实战案例
小高~的博客
08-18 1086
本文详细介绍了词袋法和 TF-IDF 的原理及应用，并通过实战展示了如何使用这些方法进行文本分类。对于NLP初学者来说，这两种方法是入门阶段的核心工具，尤其适用于传统的文本分类任务。然而，随着深度学习的发展，基于神经网络的嵌入方法（如）已经成为主流，它们可以更好地捕捉词语的上下文语义。
基于TF-IDF算法抽取
04-30
#### 三、TF-IDF算法实现 1. **数据采集** 文本数据通常来源于各种渠道，如网页爬虫抓取的数据。本案例中使用的是《冰与火之歌》的小说文本作为示例。 2. **文档分词** 对获取的文本进行分词处理，即将文档...
sklearn中TF-IDF方法的理解
Suprit's blog
12-28 3382
sklearn中TF-IDF方法的理解 TF-IDF是对于一个文本特征提取非常有用的办法。进行特征选择，对文本分类具有重要的意义。特征选择就是要想办法选出那些最能表征文本含义的词组元素 。特征选择不仅可以降低问题的规模，还有助于分类性能的改善，选取不同的特征对文本分类系统的性能有非常重要的影响。 采用TF-IDF进行特征提取，可以得到每句话的一个向量，其中每一个单词得到了一个对应的权值，用来进行接下来的训练等任务。 ????机器学习训练需要特征向量，特征向量要有权值，没有权值，只有一堆文字，怎么进行？所以
tf-idf算法.zip
10-27
采用tf-idf算法计算携程评论中的关键词，并输出前500个关键词，该算法不同于市面上的其他算法，保证了o（n）的时间复杂度，执行速度更快，同时具有更好的移植性和健壮性
实用的tf-idf代码
03-23
向量空间模型 权重计算方法 信息检索常用的方法 用于自然语言处理 可以适用于分类
sklearn调用TF-IDF
Louis_sunweiyu的博客
06-05 574
机器学习----sklearn调用TF-IDF
【NLP】TF-IDF算法原理及其实现
CXY819394的博客
03-20 2955
TF-IDF(term frequency-inverse doument frequency,词频-逆向文档频率)是一种用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对与一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比的增加，但同时会随着它在语料库中出现的频率成反比下降。TF-IDF的主要思想。
Sklearn库计算TFIDF
m0_49501453的博客
09-16 679
Sklearn库计算TFIDF 贴代码 from sklearn.feature_extraction.text import CountVectorizer,TfidfTransformer # 定义函数 def TF_IDF(corpus): vectorizer=CountVectorizer()#该类会将文本中的词语转换为词频矩阵 transformer=TfidfTransformer()#该类会统计每个词语的tf-idf权值 x = vectorizer.fit_tr
机器学习：TF-IDF代码实现
weixin_43597208的博客
05-24 412
1.定义数据和预处理 docA = "The cat sat on my bed The man i hate it" docB = "The dog sat on my knees The girl i like it" bowA = docA . split(" ") bowB = docB . split(" ") print(bowA) print(bowB) # 构建词库 wordSet = set(bowA) . union(set(bowB)) print(wordSet)
TF-IDF（词频-逆文档频率）使用sklearn实现
一个小菜鸟的博客
04-11 1852
在获取单词的TF-IDF值的时候，可以选用已有的库来实现，而不用再去手动去写。 这里使用sklearn中提供的已有的方法来获取TF-IDF： TfidfVectorizer类 class sklearn.feature_extraction.text.TfidfVectorizer(*, input='content', encoding='utf-8', decode_error='strict', strip_accents=None, lowercase=True, preproc
自然语言处理--计算tf-idf（sklearn方法）
糯米君的博客
12-27 655
使用 sklearn 将文本输入直接构建 TF-IDF 矩阵。 from sklearn.feature_extraction.text import TfidfVectorizer # 数据：三篇文档 docs = ["The faster Harry got to the store, the faster and faster Harry would get home."] docs.append("Harry is hairy and faster than Jill.") docs.append
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值