LDA python 用Gensim包处理LDA主题模型

最新推荐文章于 2025-05-30 14:43:11 发布

棒棒糖one

最新推荐文章于 2025-05-30 14:43:11 发布

阅读量2.8k

点赞数

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.youkuaiyun.com/weixin_43332500/article/details/90597396

本文演示了如何使用Python中的Gensim库来处理LDA（Latent Dirichlet Allocation）主题模型。通过执行测试代码，展示了生成的主题分布，包括关键词如'dad', 'love', 'nature'等。" 116810498,7534221,C++中的不可变对象与不可变类,"['C++编程', '面向对象', '线程同步', '类设计']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from nltk.tokenize import word_tokenize
from nltk.corpus import stopwords
filepaths = []

#循环将文件夹中的TXT全部导入
import os
rootdir = 'F:/GEV/lda_dir/referenceData'
list = os.listdir(rootdir) #列出文件夹下所有的目录与文件
for i in range(0,len(list)):
	path = os.path.join(rootdir,list[i])
	if os.path.isfile(path):
		filepaths.append(path)

docs = [open(f, 'r', encoding = 'utf-8').read() for f in filepaths]

docs = [word_tokenize(doc) for doc in docs]

stopWords = set(stopwords.words('english'))

docs = [[w  for w in doc if w.lower() not in stopWords] for doc in docs]


from gensim import corpora
from gensim.models import LdaModel
from gensim import models
from gensim.corpora import Dictionary

dictionary = corpora.Dictionary(docs)

corpus = [ dictionary.doc2bow(text) for text in docs ]
tfidf = models.TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]

#########Run the LDA model for XX topics ###############################
lda = LdaModel(corpus=corpus_tfidf, id2word=dictionary, num_topics=2,passes=2