Tf/IDF进行关键词提取，LDA进行中文文本主题模型实现

最新推荐文章于 2025-06-27 09:01:21 发布

原创

最新推荐文章于 2025-06-27 09:01:21 发布 · 8.7k 阅读

137 ·

CC 4.0 BY-SA版权

文章标签：

#lda #tf/idf #关键词提取 #主题模型

本文介绍了如何利用TF/IDF进行关键词提取，并探讨了LDA（Latent Dirichlet Allocation）在中文文本主题模型中的实现。详细阐述了相关理论知识，帮助理解这两项技术在文本分析中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

TF/idf进行关键词提取

"""
关键词提取
基于 TF-IDF 算法的关键词抽取
import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
withWeight 为是否一并返回关键词权重值，默认值为 False
allowPOS 仅包括指定词性的词，默认值为空，即不筛选
"""
import jieba.analyse as analyse
import pandas as pd
df = pd.read_csv("./data/technology_news.csv", encoding='utf-8')
df = df.dropna()
lines=df.content.values.tolist()
content = "".join(lines)
print ("  ".join(analyse.extract_tags(content, topK=30, withWeight=False, allowPOS=())))

"""
基于 TextRank 算法的关键词抽取
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用，接口相同，注意默认过滤词性。
jieba.analyse.TextRank() 新建自定义 TextRank 实例
算法论文： TextRank: B