gensim的主题模型LSI

最新推荐文章于 2022-05-20 16:08:18 发布

逍遥游07

最新推荐文章于 2022-05-20 16:08:18 发布

阅读量3.8k

点赞数

CC 4.0 BY-SA版权

分类专栏：机器学习

本文链接：https://blog.youkuaiyun.com/kesonyk/article/details/46643527

机器学习专栏收录该内容

10 篇文章

订阅专栏

本文介绍了一种使用gensim库进行文档主题建模的方法。通过加载预处理过的语料库和词典，利用TF-IDF模型和LSI（潜在语义索引）技术对文档进行特征提取，并展示如何计算文档的主题分布。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

<span style="font-size:24px;">将上问的输入文档归为两个主题</span>

from gensim import corpora,models,similarities
dictionary=corpora.Dictionary.load('/tmp/deerwester.dict')
corpus=corpora.MmCorpus('/tmp/deerwester.mm')
print(corpus)

tfidf=models.TfidfModel(corpus)

doc_bow=[(0,1),(1,1)] 
print(tfidf[doc_bow])  #计算最相关的文档

corpus_tfidf=tfidf[corpus]

#initialize an LSI transformation
lsi=models.LsiModel(corpus_tfidf,id2word=dictionary,num_topics=3)
#transformed tf-idf corpus via lsi into a laten 2-D space
corpus_lsi=lsi[corpus_tfidf]
lsi.print_topics(3)
for doc in corpus_lsi:
	print(doc)

lsi.save('/tmp/model.lsi')#same for tfidf,lda