tf-idf：sklearn中TfidfVectorizer使用

最新推荐文章于 2025-07-02 15:22:19 发布

原创最新推荐文章于 2025-07-02 15:22:19 发布 · 2k 阅读

0 ·

CC 4.0 BY-SA版权

机器学习实战专栏收录该内容

30 篇文章

订阅专栏

本文介绍如何使用sklearn库中的TfidfVectorizer实现TF-IDF算法。通过分词处理语料库并将其转换为TF-IDF矩阵形式，展示了如何获取特征名称及各文档中权重较高的词语。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf-idf：sklearn中TfidfVectorizer使用

import jieba

from sklearn.feature_extraction.text import TfidfVectorizer

corpus = []
data_file="./tfidf-data.txt"
with open(data_file, 'r') as f:
    for line in f:
        corpus.append(" ".join(jieba.cut(line.split(',')[0], cut_all=False)))

vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform(corpus)
print(tfidf.shape)

words = vectorizer.get_feature_names()
for i in range(len(corpus)):
    print('----Document %d----' % (i))
    for j in range(len(words)):
        if tfidf[i,j] > 1e-5:
              print( words[j], tfidf[i,j])