LDA模型简介

博文中有一些链接引用，权当介绍资源~ （原创尽请谅解，本人才疏学浅，这些数学知识还是引用比较好）

8、一些函数及其分布

1.Gamma函数

推荐写的不错的博文（我就不自己写啦）

http://www.52nlp.cn/lda-math-%E7%A5%9E%E5%A5%87%E7%9A%84gamma%E5%87%BD%E6%95%B01

http://www.52nlp.cn/lda-math-%E7%A5%9E%E5%A5%87%E7%9A%84gamma%E5%87%BD%E6%95%B02

http://www.52nlp.cn/lda-math-%E7%A5%9E%E5%A5%87%E7%9A%84gamma%E5%87%BD%E6%95%B03

2.Beta函数

(见4和5)

3.二项分布和多项分布

二项分布是n个独立的是/非试验中成功的次数的离散概率分布，其中每次试验的成功概率为p。这样的单次成功/失败试验又称为伯努利试验。

 

多项分布是二项分布的推广，但有k个可能的结果，每个可能结果的概率为Pi , N 是试验次数，

 

 

4.Beta分布

 http://hyry.dip.jp/tech/slice/slice.html/42

5.Dirichlet分布

http://www.52nlp.cn/lda-math-%E8%AE%A4%E8%AF%86betadirichlet%E5%88%86%E5%B8%831

http://www.52nlp.cn/lda-math-%E8%AE%A4%E8%AF%86betadirichlet%E5%88%86%E5%B8%832

http://www.52nlp.cn/lda-math-%E8%AE%A4%E8%AF%86betadirichlet%E5%88%86%E5%B8%833

Dirichlet 分布是Beta 分布在高维度上的推广，Dirichlet分布可以看做是分布之上的分布。

当我们为二项分布的参数p选取的先验分布是Beta分布时，以p为参数的二项分布用贝叶斯估计得到的后验概率仍然服从Beta分布，由此我们说二项分布和Beta分布是共轭分布。在LDA中，每个文档中词的Topic分布服从多项分布，其先验选取共轭先验即Dirichlet分布；每个Topic下词的分布服从多项分布，其先验也同样选取共轭先验即Dirichlet分布。 

 

9、LDA模型简介

LDA是一种非监督学习技术，可以用来识别大规模文档集（document collection）或语料库（corpus）中潜藏的主题信息。它采用了词袋（bag of words）的方法，这种方法将每一篇文档视为一个词频向量，从而将文本信息转化为了易于建模的数字信息。每一篇文档代表了一些主题所构成的一个概率分布，而每一个主题又代表了很多单词所构成的一个概率分布。

这篇博文是很好的入门介绍，可以看看

http://cos.name/2010/10/lda_topic_model/

http://cos.name/2013/03/lda-math-lda-text-modeling/

http://cos.name/2013/01/lda-math-mcmc-and-gibbs-sampling/