(python )LDA perplexity计算

最新推荐文章于 2025-03-13 14:32:52 发布

qklwdd6

最新推荐文章于 2025-03-13 14:32:52 发布

阅读量3k

点赞数 2

分类专栏： python LDA

本文链接：https://blog.youkuaiyun.com/qklwdd6/article/details/80142851

版权

该博客介绍了如何使用Python进行LDA模型的困惑度计算，内容包括代码示例，是基于一篇Java版本的文章改写而成，强调了Python在处理此类任务时的简洁性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前期训练数据使用的工具包是LDA， [ 文档传送 ]

如果需要Java版本，可以参考下面链接，本文也是基于此文改写为python，不得不说，python还是要简洁的多哈哈
https://blog.youkuaiyun.com/dongweionly/article/details/50286961

代码

'''
dw是文档-词矩阵，dt是经过LDA训练后的文档-主题矩阵，tw是经过LDA训练后的主题-词矩阵
'''
def compute_perplexity(doc_word,doc_topic,topic_word):

    sum_ln_pt = 0
    sum_t = 0
    for doc_n,a in enumerate(doc_word):