12、主题模型与高级主题建模技巧

主题模型与高级主题建模技巧

1. 主题模型概述

主题模型是处理无标签数据的强大工具，能帮助我们发现文本中的潜在结构。常见的主题模型方法包括 LDA、LSI、HDP 和 NNMF 等，并且可以在 Gensim 和 scikit - learn 这两个 Python 机器学习框架中使用。

2. 不同主题模型介绍

• HDP（Hierarchical Dirichlet Processes） ：它与之前的方法略有不同，是非参数的，并且能够根据层次对主题进行聚类。
• 动态主题模型 ：之前的主题模型主要关注在整个语料库中识别主题，而动态主题模型会考虑文档存在的时间框架。利用这个额外信息，我们可以对每个时间框架内的主题进行建模，并尝试理解这些主题随时间的演变。在第一个时间框架内，主题的性质是固定的，随着时间推移，不太可能引入新主题，但可以看到主题如何变化，特别是哪些词被哪些词取代。
• scikit - learn 中的主题模型 ：Gensim 不是唯一提供主题建模能力的包，scikit - learn 虽然不是专门用于文本处理，但也提供了 LDA 和非负矩阵分解（NMF）的快速实现，帮助我们识别主题。
  • LDA 在 Gensim 和 scikit - learn 中的差异 ：
    • 困惑度边界在两者中的计算方式不同，它们是衡量主题建模算法中主题收敛的方式。
    • scikit - learn 使用