sklearn.feature_extraction.text模块下的CountVectorizer与TfidfVectorizer

本文深入探讨了文本特征提取中的两种关键方法:CountVectorizer和TfidfVectorizer。通过具体实例,详细解析了这两种方法如何处理英文和中文文本,生成词汇表并计算词频或tf-idf值,为文本数据的预处理提供了实用指南。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、CountVectorizer

设我们有N个文档。 CountVectorizer首先统计这N个文档中除stop_words之外所出现过的词,生成一个词汇表(设词汇表为V,其长度为|V|)。再生成一个N*|V|的数组,设为A,则A[i, j]代表词汇表V中第j个词在第i个文档中出现的次数。

from sklearn.feature_extraction.text import CountVectorizer
X_test = ['I sed about sed the lack','of any Actually']
## stop_words=None表示不去掉停用词,若改为stop_words='english'则去掉停用词; 
count_vec=CountVectorizer(stop_words=None)
## 训练count_vec中的属性,并返回数组
arr = count_vec.fit_transform(X_test).toarray()
print('\nvocabulary list:')
print(count_vec.get_feature_names()) ## 列表中的词汇按照英文字母表的顺序排列。
print('\nresult array')
print(arr)                           ## 打印数组
print('\nvocabulary order:\n',count_vec.vocabulary_)

## 运行结果:
vocabulary list:
['about', 'actually', 'any', 'lack', 'of', 'sed', 'the']

result array
[[1 0 0 1 0 2 1]
 [0 1 1 0 1 0 0]]

vocabulary order:
 {'about': 0, 'sed': 5, 'of': 4, 'any': 2, 'the': 6, 'actually': 1, 'lack': 3}

#####################################################
########## CountVectorizer同样适用于中文 ###############
#####################################################

X_test = [u'没有 你 的 地方 都是 他乡',u'没有 你 的 旅行 都是 流浪']
## 默认将所有单个汉字视为停用词;
count_vec=CountVectorizer(token_pattern=r"(?u)\b\w\w+\b")
arr = count_vec.fit_transform(X_test).toarray()
print(arr)
print('\nvocabulary list:\n')
for key,value in count_vec.vocabulary_.items():
    print(key,value)


## 运行结果:

[[1 1 0 1 0 1]
 [0 0 1 1 1 1]]

vocabulary list:

没有 3
地方 1
流浪 4
旅行 2
他乡 0
都是 5

2、TfidfVectorizer

设我们有N个文档。 TfidfVectorizer首先统计这N个文档中除stop_words之外所出现过的词,生成一个词汇表(设词汇表为V,其长度为|V|)。再生成一个N*|V|的数组,设为W,则W[i, j]代表词汇表V中第j个词在第i个文档中的tf-idf值。

# -*- coding: utf-8 -*-
from sklearn.feature_extraction.text import TfidfVectorizer
X_test = ['没有 你 的 地方 都是 他乡','没有 你 的 旅行 都是 流浪']
stopword = [u'都是'] #自定义一个停用词表,此外默认将所有单个汉字视为停用词;
#但可以设token_pattern=r"(?u)\b\w+\b",即不考虑停用词

tfidf = TfidfVectorizer(token_pattern=r"(?u)\b\w\w+\b",stop_words=stopword)
weight= tfidf.fit_transform(X_test).toarray()   ## 拟合模型,返回tf-idf权重稀疏权重矩阵
vocab = tfidf.get_feature_names()               ## 返回词汇列表
idf   = tfidf.idf_                              ## 返回词汇中各词对应的idf值

for key,value in tfidf.vocabulary_.items():
    print(key,value)

## 结果:
没有 3
地方 1
流浪 4
他乡 0
旅行 2

print('IFIDF词频矩阵:')
print(weight)
print('各词对应的idf值:')
print(tfidf.idf_)

## 结果:
IFIDF词频矩阵:
[[0.6316672  0.6316672  0.         0.44943642 0.        ]
 [0.         0.         0.6316672  0.44943642 0.6316672 ]]
各词对应的idf值:
[1.40546511 1.40546511 1.40546511 1.         1.40546511]

for i in range(len(weight)):  
# 打印每类文本的tf-idf词语权重,第一个for遍历所有文本,
#第二个for便利某一类文本下的词语权重
    print(u"-------这里输出第", i, u"类文本的词语tf-idf权重------")
    for j in range(len(word)):
        print(vocab[j], weight[i][j]) #第i个文本中,第j个次的tfidf值

## 结果:
-------这里输出第 0 类文本的词语tf-idf权重------
他乡 0.6316672017376245
地方 0.6316672017376245
旅行 0.0
没有 0.4494364165239821
流浪 0.0
-------这里输出第 1 类文本的词语tf-idf权重------
他乡 0.0
地方 0.0
旅行 0.6316672017376245
没有 0.4494364165239821
流浪 0.6316672017376245

 

LDA(Latent Dirichlet allocation)是一种常用的主题模型,它可以将文档集中每篇文档的主题按照概率分布的形式给出。它是一种无监督学习算法,在训练时仅需要输入文档集并给定主题数量。这一模型目前在文本挖掘,包括文本主题识别、文本分类以及文本相似度计算方面均有应用。请利用week.csv提供的广州八大热门糖水店的评论数据,进一步对评论文本(即cus_comment)进行话题识别分析。注意,本周使用了两类方法来实现lda(sklearn和gensim),本次作业选自己喜欢的来实现即可。 1. 文档预处理。 一般来讲,LDA在评论等短文本上的效果并不理想,且多数情况下,我们希望给话题赋予时间含义,以讨论其“波动性”。因此,往往先需要按时间进行文档的生成,比如,将某一店铺的评论按年进行合并,即将某店铺某年发布的所有评论视为一个文档。请实现一个模块,其中包含一个或多个函数,其能够读取该数据集并将之分店铺(共8家店铺,可根据shopID进行区分)处理以天(或其他时间单位)为单位的文档集合。 2. 文本的特征表示。 实现一个模块,通过一个或多个函数,将每个文档转变为词频特征表示,以形成文档-词语的词频矩阵,可以选择使用sklearn中的CountVectorizerTfidfVectorizer两种方式。也可以使用gensim中的dictionary.doc2bow等。 3. 文本的话题分析。 实现一个模块,通过一个或多个函数,借助sklearn.decomposition中的LatentDirichletAllocation构建主题模型(话题数目可以自主指定),并对发现的主题进行分析(每个主题对应的词语可利用model.components_来查看,每篇文档的主题概率分布可通过model.transform来查看)。也可以参考demo里的ldav.py,用gensim进行LDA分析,并进行可视化。 4. 序列化保存。 利用pickle或json对所得到的lda模型、对应的词频矩阵、以及特征表示等进行序列化保存。 5. (附加题)根据困惑度选取最优话题数。 任务3中的超参数k(即话题的数目)变化时,评价LDA模型的一个指标即困惑度(lda.perplexity)会随之波动,尝试绘制困惑度随话题数目k变化的曲线,找到较优的k。 6. (附加题)话题分布的时间趋势分析。 根据评论文档的时间信息,观察特定话题随着时间的变化趋势,即分析某一话题在不同时间段内的出现频率或权重,以便了解该话题在不同时期内的热度变化。 参考材料: 1. https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.CountVectorizer.html 2. https://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfVectorizer.html#sklearn.feature_extraction.text.TfidfVectorizer 3. https://scikit-learn.org/stable/modules/generated/sklearn.decomposition.LatentDirichletAllocation.html 4. https://radimrehurek.com/gensim/apiref.html#api-reference
03-20
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值