使用gensim实现LDA代码

最新推荐文章于 2024-11-25 16:55:41 发布

原创

最新推荐文章于 2024-11-25 16:55:41 发布 · 2.8k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习

本文详细介绍使用Gensim库实现LDA主题模型的过程，包括数据预处理、模型训练、保存与加载，以及如何评估模型的性能。文章还探讨了如何获取文档-主题分布，并对训练数据进行预测。

使用gensim实现LDA代码

第一步，加载

from gensim.models import LdaModel
from gensim.test.utils import common_texts
from gensim.corpora.dictionary import Dictionary
from gensim import similarities
from pprint import pprint

import logging
logging.basicConfig(format=’%(asctime)s : %(levelname)s : %(message)s’, level=logging.INFO)

第二步，数据处理

num_topics = 10
common_dictionary = Dictionary(common_texts)
#pprint(common_dictionary.token2id)
common_corpus = [common_dictionary.doc2bow(text) for text in common_texts]

第三部，训练模型

lda = LdaModel(
corpus=common_corpus,
id2word=common_dictionary,
#模型训练时转换成word输出，感觉很方便
#chunksize=chunksize,
#alpha=‘auto’,
#eta=‘auto’,
#iterations=iterations,
num_topics=num_topics
#passes=passes,
#eval_every=eval_every
)

save_file = (’./lda_model_save/model_0’)
lda.save(save_file)

第四步，模型预测

model_file = (’./lda_model_save/model_