NLP_task3特征选择_使用不同的方法计算TF-IDF值的结论

最新推荐文章于 2022-12-26 13:51:33 发布
最新推荐文章于 2022-12-26 13:51:33 发布
阅读量340 收藏 2
点赞数
分类专栏： NLP 文章标签： NLP TF-IDF
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zyq11223/article/details/90266926
版权
本文详细介绍了计算TF-IDF的三种方法：gensim、sklearn和Python手动实现。gensim在计算时自动去除停用词、单个字母和未训练到的词，无法直接获取每个单词的TF-IDF值。sklearn库提供了更直接的TF-IDF计算，而Python实现则允许完全控制整个过程，适用于特殊需求。最后，作者提到在word2vec中结合TF-IDF对文本表示的思考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

这篇文章主要介绍了计算TF-IDF的不同方法实现，主要有三种方法：

  • 用gensim库来计算tfidf值
  • 用sklearn库来计算tfidf值
  • 用python手动实现tfidf的计算

1.使用gensim提取文本的tfidf特征

首先来看我们的语料库

corpus = [
    'this is the first document',
    'this is the second second document',
    'and the third one',
    'is this the first document'
]

接下来看我们的处理过程
1.把语料库做一个分词的处理

[输入]:
word_list = []
for i in range(len(corpus)):
    word_list.append(corpus[i].split(' '))
print(word_list)
    
[输出]:
[['this', 'is', 'the', 'first', 'document'],
 ['this', 'is', 'the', 'second', 'second', 'document'],
 ['and', 'the', 'third', 'one'],
 ['is', 'this', 'the', 'first', 'document']]

2.得到每个词的id值及词频

输入]：
from gensim import corpora
# 赋给语料库中每个词(不重复的词)一个整数id
dictionary = corpora.Dictionary(word_list)
new_corpus = [dictionary.doc2bow(text) for text in word_list]
print(new_corpus)

# 元组中第一个元素是词语在词典中对应的id，第二个元素是词语在文档中出现的次数
[输出]：
[[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)], 
 [(0, 1), (2, 1), (3, 1), (4, 1), (5, 2)], 
 [(3, 1), (6, 1), (7, 1), (8, 1)], 
 [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)]]
 
 [输入]：
 # 通过下面的方法可以看到语料库中每个词对应的id
 print(dictionary.token2id)
 [输出]：
 {'document': 0, 'first': 1, 'is': 2, 'the': 3, 'this': 4, 'second': 5, 'and': 6,
 'one': 7,   'third': 8}

3.训练gensim模型并且保存它以便后面的使用

[输入]：
# 训练模型并保存
from gensim import models
tfidf = models.TfidfModel(new_corpus)
tfidf.save("my_model.tfidf")

# 载入模型
tfidf = models.TfidfModel.load("my_model.tfidf")

# 使用这个训练好的模型得到单词的tfidf值
tfidf_vec = []
for i in range(len(corpus)):
   string = corpus[i]
   string_bow = dictionary.doc2bow(string.lower().split())
   string_tfidf = tfidf[string_bow]
   tfidf_vec.append(string_tfidf)
print(tfidf_vec)

[输出]：
[[(0, 0.33699829595119235),
 (1, 0.8119707171924228),
 (2, 0.33699829595119235),
 (4, 0.33699829595119235)],
[(0, 0.10212329019650272),
 (2, 0.10212329019650272),
 (4, 0.10212329019650272),
 (5, 0.9842319344536239)],
[(6, 0.5773502691896258), (7, 0.5773502691896258), (8, 0.5773502691896258)],
[(0, 0.33699829595119235),
 (1, 0.8119707171924228),
 (2, 0.33699829595119235),
 (4, 0.33699829595119235)]]

通过上面的计算我们发现这向量的维数和我们语料单词的个数不一致呀，我们要得到的是每个词的tfidf值，为了一探究竟我们再做个小测试

4.小测试现出gensim计算的原形

输入]:
# 我们随便拿几个单词来测试
string = 'the i first second name'
string_bow = dictionary.doc2bow(string.lower().split())
string_tfidf = tfidf[string_bow]
print(string_tfidf)

[输出]:
[(1, 0.4472135954999579), (5, 0.8944271909999159)]

结论

  • gensim训练出来的tf-idf值左边是词的id，右边是词的tfidf值
  • gensim有自动去除停用词的功能，比如the
  • gensim会自动去除单个字母，比如i
  • gensim会去除没有被训练到的词，比如name

所以通过gensim并不能计算每个单词的tfidf值

2.使用sklearn提取文本tfidf特征

我们的语料库不变，还是上面那个

corpus = [
    'this is the first document',
    'this is the second second document',
    'and the third one',
    'is this the first document'
]

然后来看我们的处理过程

[输入]:
from sklearn.feature_extraction.text import TfidfVectorizer
tfidf_vec = TfidfVectorizer()
tfidf_matrix = tfidf_vec.fit_transform(corpus)

# 得到语料库所有不重复的词
print(tfidf_vec.get_feature_names())

# 得到每个单词对应的id值
print(tfidf_vec.vocabulary_)

# 得到每个句子所对应的向量
# 向量里数字的顺序是按照词语的id顺序来的
print(tfidf_matrix.toarray())

[输出]:
['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this']

{'this': 8, 'is': 3, 'the': 6, 'first': 2, 'document': 1, 'second': 5, 'and': 0, 'third': 7, 'one': 4}

[[0.         0.43877674 0.54197657 0.43877674 0.         0.
  0.35872874 0.         0.43877674]
 [0.         0.27230147 0.         0.27230147 0.         0.85322574
  0.22262429 0.         0.27230147]
 [0.55280532 0.         0.         0.         0.55280532 0.
  0.28847675 0.55280532 0.        ]
 [0.         0.43877674 0.54197657 0.43877674 0.         0.
  0.35872874 0.         0.43877674]]

3.python提取文本的tfidf特征

我们的语料库依旧不变

corpus = [
    'this is the first document',
    'this is the second second document',
    'and the third one',
    'is this the first document'
]

1.对语料进行分词

[输入]:
word_list = []
for i in range(len(corpus)):
    word_list.append(corpus[i].split(' '))
print(word_list)

[输出]:
[['this', 'is', 'the', 'first', 'document'],
 ['this', 'is', 'the', 'second', 'second', 'document'],
 ['and', 'the', 'third', 'one'],
 ['is', 'this', 'the', 'first', 'document']]

2.统计词频

[输入]:
# 使用Counter模块统计一段句子里面所有字符出现次数
countlist = []
for i in range(len(word_list)):
    count = Counter(word_list[i])
    countlist.append(count)
countlist

[输出]:
[Counter({'document': 1, 'first': 1, 'is': 1, 'the': 1, 'this': 1}),
 Counter({'document': 1, 'is': 1, 'second': 2, 'the': 1, 'this': 1}),
 Counter({'and': 1, 'one': 1, 'the': 1, 'third': 1}),
 Counter({'document': 1, 'first': 1, 'is': 1, 'the': 1, 'this': 1})]


定义计算tfidf公式的函数

作者：炼己者
链接：https://www.jianshu.com/p/f3b92124cd2b
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

3.定义计算tfidf公式的函数

# word 可以通过count得到，count可以通过countlist
# word[word] 可以得到每个单词的词频， sum(count.values())得到整个句子的单词总数
def tf(word,count):
    return count[word] / sum(count.values())

# 统计的是含有该单词的句子数
def n_containing(word, count_list):
    return sum(1 for count in count_list if word in count)

# len(count_list)是指句子的总数， n_containing(word, count_list) 是指含有该单词的句子总数， 加1是为了防止分母为0.
def idf(word, count_list):
    return math.log(len(count_list) / (1 + n_containing(word, count_list)))

# 将tf和idf相乘
def tfidf(word, count, count_list):
    return tf(word,count) * idf(word,count_list)

4.计算每个单词的tfidf值

[输入]:
import math
for i, count in enumerate(countlist):
    print("Top words in document {}".format(i + 1))
    scores = {word: tfidf(word, count, countlist) for word in count}
    sorted_words = sorted(scores.items(), key=lambda x: x[1], reverse=True)
    for word, score in sorted_words[:]:
        print("\tWord: {}, TF-IDF: {}".format(word, round(score, 5)))

[输出]:
Top words in document 1
    Word: first, TF-IDF: 0.05754
    Word: this, TF-IDF: 0.0
    Word: is, TF-IDF: 0.0
    Word: document, TF-IDF: 0.0
    Word: the, TF-IDF: -0.04463
Top words in document 2
    Word: second, TF-IDF: 0.23105
    Word: this, TF-IDF: 0.0
    Word: is, TF-IDF: 0.0
    Word: document, TF-IDF: 0.0
    Word: the, TF-IDF: -0.03719
Top words in document 3
    Word: and, TF-IDF: 0.17329
    Word: third, TF-IDF: 0.17329
    Word: one, TF-IDF: 0.17329
    Word: the, TF-IDF: -0.05579
Top words in document 4
    Word: first, TF-IDF: 0.05754
    Word: is, TF-IDF: 0.0
    Word: this, TF-IDF: 0.0
    Word: document, TF-IDF: 0.0
    Word: the, TF-IDF: -0.04463

总结

之所以做了这方面的总结是因为最近在研究word2vec，然后涉及到了基于word2vec的文本表示方法。你用word2vec训练好的模型可以得到词的向量，然后我们可以利用这些词向量表示句子向量。

  1. 一般处理方法是把句子里涉及到的单词用word2vec模型训练得到词向量，然后把这些向量加起来再除以单词数，就可以得到句子向量。这样处理之后可以拿去给分类算法(比如LogisticRegression)训练，从而对文本进行分类。
  2. 还有一种是把句子里的每个单词的向量拼接起来，比如每个单词的维度是1X100
    一句话有30个单词，那么如何表示这句话的向量呢？
    把单词拼接来，最终得到这句话的向量的维度就是30X100维
  3. 我想做的是把句子里所有的单词用word2vec模型训练得到词向量，然后把这些向量乘以我们之前得到的tfidf值，再把它们加起来除以单词数，就可以得到句子向量。也就是结合tfidf给单词加上一个权重，评判一个单词的重要程度。
  4. 最后发现gensim和sklearn都不能满足我的需求，用python的方法做了一个。

参考：https://www.jianshu.com/p/f3b92124cd2b

NLP - 词的表示：Bow,One-hot, TF-IDF、word2vec
AI工程化、开源分享、文档翻译、代码笔记
01-02 1002
文章目录词的表示潜在语义分析方法（BOW）Countervector 计数TF-IDFBOW 和 TF-IDF 方法的问题词的独热（One-hot ）表示独热问题的改进解决维度过大的问题解决无语义的问题 -- 词的分布式表示Word Embedding 词嵌入使用场景Word embedding的训练方法1、无监督或弱监督的预训练2、端对端（end to end）的有监督训练。参考资料 参考转载自： https://www.jianshu.com/p/cede3ae146bb 词的表示 潜在语义分析方法
Tf-Idf的python实现
笑傲苍穹的博客
01-20 2万+
现如今，深度学习的神经网络在处理文本方面也逐渐被人们挖掘出来，而神经网络只能接受数值类型的输入，所以在做文本情感分析的时候，就需要对文本进行处理，使之变成数值类型，因而向量化也就出现了。在向量化时我们也不必将分词结果中每个词都进行向量化，因为有些单词出现次数特别多，而且对情感分类是毫无意义的。比如之类的单词。这类词有个名字，叫“Stop_Word“（停用词）常用的停用词下载地址。这类词是可以完全忽.........
特征提取-计算tf-idf
panguoyuan的专栏
06-09 3513
用Java实现特征提取计算tf-idf
gensim进阶：TFIDF模型训练以及查找具体词汇的tfidf值
weixin_51143561的博客
01-17 5551
经过整整一天的不懈奋斗，我终于破解了gensim的语料导入！ 首先把完整的训练模型和保存的代码放上： from gensim import models from gensim import corpora from gensim.models import TfidfModel with open("文件.txt","r"，encoding='utf-8') as f: txts = eval(f.read()) # 用eval()把字符串化的列表还原为列表 dictionary =
自然语言处理(NLP)之gensim中的TF-IDF的计算方法
IT之一小佬的博客
05-05 1336
自然语言处理(NLP)之gensim中的TF-IDF的计算方法 step 1. 去掉所有文本中都会出现的词 texts = [['这是', '一个', '文本'], ['这是', '第二个', '文本'], ['这是', '又一个', '文本'], ['这是', '最后', '一个', '文本']] 去掉所有文本中均出现的词后的文本: texts_filter = [['一个'], ['第二个'], ['又一个'], ['最后', '一个']] step 2. 计算文本中剩余单词的tf-.
tf-idf的原理及计算
sslfk的博客
12-26 440
tf-idf的计算方式，可以用于用户画像、物品画像的构建
TF-IDF介绍（原来+代码）
sun_xiao_kai的博客
06-26 9773
概念1、TF-IDF原理 无论中文文本还是英文文本，都要首先对文本进行分词处理，而后需要对文本进行词向量表示。
ChineseNRE-master.zip_SemEval2010 Task 8_人物关系_人物关系抽取_关系抽取id_关系抽取
07-14
实体关系抽取是自然语言处理中的一个重要任务，它旨在从文本中识别出具有特定关系的实体并建立它们之间的联系。在本资源中，我们关注的是中文环境下的实体关系抽取，具体涉及了SemEval2010 Task 8的比赛数据集，该...
NLP入门-Task3 特征选择
绝体绝命成长之路
06-27 510
特征选择关键词关键词简介关键词抽取TF-IDF算法分析TextRank算法分析计算TF-IDF的值互信息互信息点互信息特征筛选 关键词 关键词简介 关键词是文本里面跟这篇文档意义最相关的一些词，是最能够反映出文本主题或者意思的词语。关键词在文本聚类、分类、自动摘要等领域中有着重要的作用。比如在聚类时将关键词相似的几篇文档看成一个团簇，可以大大提高聚类算法的收敛速度；从某天所有的新闻中提取出这些新闻...
关键词提取方法学习总结（TF-IDF、Topic-model、RAKE）
热门推荐
mpk_no1的博客
07-23 3万+
关键词提取方法学习总结（TF-IDF、Topic-model、RAKE）
Gensim-TFIDF,LDA,LSI实战
AI小白入门的博客
08-07 1万+
介绍Gensim能很方便的分析文本，包括了TFIDF,LDA,LSA,DP等文本分析方法词典与词库首先将文本处理生成dictionary和corpus。 dictionary是词典，包含词以及词在词典中对应的位置。 corpus将文本存贮成(词在词典中位置，词频)这种形式，每个文本为一行。实战from gensim import corpora, models, similarities fro
使用 tf-idf 提取关键词
makerjj的博客
10-22 2103
tf-idf 的简要介绍： tf：term frequency。某个关键词在整篇文档中出现的频率 idf：inverse document frequency。逆文档频率。某个词在所有文档中出现的频率。 tf 公式： tfij=nij∑knkjtf_{ij} = \frac{n_{ij}}{\sum_k n_{kj}}tfij​=∑k​nkj​nij​​ 含义：tf 等于关键词 i 在文档 j 中...
【Python】利用gensim计算文本的tfidf相似度
zkq_1986的博客
10-16 7676
python代码： # -*- coding: utf-8 -*- from gensim import corpora, models, similarities import logging from collections import defaultdict logging.basicConfig(format='%(asctime)s : %(levelname)s : %(mes...
自然语言典型工具TextBlob、Gensim、Polyglot，关键词抽取（jieba、TF-IDF、textrank）和特征提取（CountVectorizer、TfidfVectorizer）
m0_47405013的博客
01-31 2771
自然语言处理的典型工具 自然语言处理的三项基本技术为单词切分、句法分析、语义理解。 1. TextBlob TextBlob是自然语言处理的python库。它为常见的自然语言处理提供一个简单地API,例如单词标注、名词短语提取、情感分析、分类、翻译等。 TextBlob安装命令：pip install -U textblob python -m textblob.download_corpora from textblob import TextBlob text='I feel happy today.
NLP算法-关键词提取之Gensim算法库
Albert_weiku的博客
10-25 2769
Gensim 是一款开源的第三方 Python 工具包，用于对原始的非结构化的文本进行无监督地学习，从而得到文本隐层的主题向量表达。它支持包括 TF-IDFTF−IDF，LSALSA，LDALDA 和 word2vecword2vec 在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的接口。
NLP文本信息向量化之特征提取
meiqixiao的博客
12-14 1445
TF-IDF 信息检索中最常用的一种文本关键信息表示法 基本思想：若在一个文档中出现的频率高，且在语料库中其它文本中很少出现，则人文这个词库有很好的区分能力。 词频TF：Term Frequency，衡量一个term在文档中出现的有多频繁，越频繁，其重要性可能越高。 考虑到文章长度差异，需要对词频做标准化： TF(t)=(t出现在文档中的次数)/(文档中term总数) TF(t)=(t出现在文...
自然语言处理之特征提取和嵌入
m0_37327467的博客
04-13 3150
在经过了文本处理步骤（可参考自然语言处理之文本处理步骤）后有下列几种方法可以进行特征提取。 Bag of word 将这些词变成一个索引放入一个表格中，然后每个文档作为一行，统计文档中的词出现的次数。 如何计算两个文档之间的相似度呢？ 一种方法是计算两个文章的点积，但是点积有个缺陷，只能捕捉重叠部分的，它不受其他不同值的影响，因此差别很大的两行，这两行比较长，和差别很小的两行，这两...
NLP系列——特征提取2
weixin_43823709的博客
05-11 686
前面一篇 NLP系列——文本预处理1 写了文本的预处理，对语料进行了分词，将一篇文章，按我们选择的最小单位 短语、词语或者字符等 进行划分。划分后的语料，还是以文字的形式存在，接下去，首先是要建立词典将文本变成index表示(计算机处理的都是数字)，然后以某种方式提取一个向量来表示文章，这就是特征向量。 1. 构建词典 NLP建立的模型，都有一个对应的词典(vocab)，可以说模型只能处理词典里包含的词，如果文章中出现不在词典里的词，那么对于不存在的词很多时候是采用过滤或者随机生成表示的方法，所以对于一个模
Gensim提取语义主题
kong
11-07 3464
Gensim 目的：从文档中有效的自动抽取语义主题。 处理原始的、非结构化的文本。 gensim 中的算法有LSA、LDA、RP、TF-IDF、word2vec，通过在一个训练文档语料库中，检查词汇统计联合出现模式，发掘文档语义结构，这些算法属于 非监督 学习，无需人工输入，自己只需要提供一个语料库即可。 语料：原始文本集合，用于无监督的训练文本主题的隐层结构。语料中不用 人工标注 附加信息...
对这十篇文档使用textrank方法抽取top-20的关键词，并给我数据、代码和结果
03-29
由于没有提供具体的文档，我将使用一篇示例文档进行演示。 示例文档： ``` Natural Language Processing (NLP) is a subfield of computer science, artificial intelligence, and computational linguistics ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值