LDA模型简介及应用

一、LDA模型简介

LDA模型指隐含狄利克雷分布（Latent Dirichlet Allocation），是一种主题模型，它可以将文档集中每篇文档的主题按照概率分布的形式给出。

简述LDA生成过程

(1)对每一篇文档，从主题分布中抽取一个主题;
(2)从上述被抽到的主题所对应的单词分布中抽取一个单词;
(3)重复上述过程直至遍历文档中的每一个单词。

LDA整体流程

•文档集合D，主题集合T：D中每个文档d看作一个单词序列<w1, w2, …… ,wn>，wi表示第i个单词，设d有n个单词。文档集合D中的所有单词组成一个大集合VOCABULARY(简称VOC)。

•对每个D中的文档d，对应到不同Topic的概率θd<pt1,…,ptk>，其中，pti表示d对应T中第i个topic的概率。计算方法：pti=nti/n，其中nti表示d中对应第i个topic的词的数目，n是d中所有词的总数。

•对每个T中的topic，生成不同单词的概率φt<pw1,…,pwm>，其中，pwi表示t生成VOC中第i个单词的概率。计算方法：pwi=Nwi/N，其中Nwi表示对应到topict的VOC中第i个单词的数目，N表示所有对应到topict的单词总数。

LDA的核心公式

P(词 | 文档)=P（词 | 主题）P（主题 | 文档）

p(w|d)=p(w|t