LDA

自己写一下lda，并实践。

看完变分，在回顾看下mcmc的视频

---

每个主题的模型：
对于主题$\phi$来说$\phi=\{\phi_1,\phi_2,...,\phi_K\}$，对应每个单词的概率。类似于筛子每个面朝上的概率。
狄里克雷分布是多项分布参数的分布，$\phi$是服从狄里克雷分布。
$p(\phi|\beta)=\frac{\Gamma(\sum_{k=1}^K \beta_k )}{\prod_{k=1}^K \Gamma(\beta_k)} \prod_{k=1}^K \phi_k^{\beta_k-1}$
归一化部分就是：和的伽马除以伽马的积。乘以，贝塔与对应fai减一的指数。

每个文档的主题模型：
每个文档由多个主题组成：
$\theta=\{\theta_1,\theta_2,...,\theta_M\}$，对应文档中M个主题的概率分布。
同样的，这个主题分布也是服从狄里克雷分布的，也就是$\theta_1,\theta_2$时如何得到的，它们的值是什么，由狄里克雷分布给出它们的概率。
$p(\theta|\alpha)=\frac{\Gamma(\sum_{m=1}^M \alpha_m )}{\prod_{m=1}^M \Gamma(\alpha_m)} \prod_{m=1}^M \theta_m^{\alpha_m-1}$

每个单词的主体模型：
每个文字到底属于哪个主题，也就是每产生一个单词之前，先要确定从哪个主题里面采样。也就是从$\theta$中产生隐变量$Z$，表示单词对应的主题。
$p(Z|\theta)=\theta_k,其中Z对应的是第k个主题$
多项式分布：
$p(n_1,n_2,...,n_k)=n!\prod_{i=1}^k \frac{p_i^{n_i}}{n_i!}，其中n_1+n_2+...+n_k=n$
多项式分布掷n次骰子，上面的采样是掷一次骰子。我们也叫作$Z$服从多项式分布。

每个单词的采样模型：
隐变量$Z$确定了单词$w$从中采样的主题$\phi$。
同样从主题$\phi$采样得到单词$w$也是服从多项式分布，掷一次骰子的结果。
$p(w|\phi)=\phi_k,其中w对应的主题\phi中的第k个单词$

：：
：：
参数设置成一个分布而不是固定的值，会容错性好点。
LDA=Latent Dirichlet Allocation。应该是指，参数的潜在分布是服从狄里克雷分布。