python 主题分析_在PYTHON中进行主题模型LDA分析

主题建模是一种在大量文档中查找抽象主题的艺术方法。一种作为监督无的机器学习方法，主题模型不容易评估，因为没有标记的“基础事实”数据可供比较。然而，由于主题建模通常需要预先定义一些参数(首先是要发现的主题ķ的数量)，因此模型评估对于找到给定数据的“最佳”参数集是至关重要的。

概率LDA主题模型的评估方法

使用未标记的数据时，模型评估很难。这里描述的指标都试图用理论方法评估模型的质量，以便找到“最佳”模型。

评估后部分布的密度或发散度

有些指标仅用于评估后验分布(主题 - 单词和文档 - 主题分布)，而无需以某种方式将模型与观察到的数据进行比较。

使用美联社数据查找最佳主题模型

计算和评估主题模型

主题建模的主要功能位于tmtoolkit.lda_utils。import matplotlib.pyplot as plt # for plotting the resultsplt.style.use('ggplot')# for loading the data:from tmtoolkit.utils import unpickle_file# for model evaluation with the lda package:from tmtoolkit.lda_utils import tm_lda# for constructing the evaluation plot:from tmtoolkit.lda_utils.common import results_by_parameterfrom tmtoolkit.lda_utils.visualize import plot_eval_results

接下来，我们加载由文档标签，词汇表(唯一单词)列表和文档 - 术语 - 矩阵组成的数据dtm。我们确保dtm尺寸合适：doc_labels, vocab, dtm = unpickle_file('ap.pickle')print('%d documents, %d vocab size, %d tokens' % (len(doc_labels),