LDA——隐狄利克雷分布

1、二项分布与$\beta$分布

1.1 二项分布

随机变量$X$可取的值为{0,1}\{0,1\}{0,1},$X$取1的概率为$p$，取0的概率为$1-p$。进行$n$次随机试验，$X$取1的次数为$k$:
$$P(X=k)=C_n^k{p}^k(1-p{)}^{n-k}$$

1.2 $\beta$分布

$$f(x)=\frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1},x\in [0,1]$$
其中，$B(\alpha ,\beta )=\frac{\Gamma (\alpha )\Gamma (\beta )}{\Gamma (\alpha +\beta )}$
可以看出二项分布和$\beta$分布形式相同，之前系数不同。

2、共轭分布

• $p(\theta )$ 先验分布 不需要知道变量x时，$\theta 的分布律$
• $p(\theta |x)$ 后验分布 在知道x的情况下，$\theta 的分布律$
• $p(x|\theta )$ 似然概率
  根据贝叶斯概率公式有：
  $$p(\theta |x)=\frac{p(x|\theta )\ast p(\theta )}{p(x)}$$
  $p(x)$与数据的分布有关，当数据确定时，$p(x)$是确定的。
  如果$p(\theta |x)$与$p(\theta )$有相同的分布律。则说先验分布$p(\theta )$与后验分布$p(\theta |x)$属于似然概率$p(x|\theta )$的共轭分布

3. 狄利克雷分布

3.1 多项式分布

随机变量$X\in [x_1,x_2,x_3]$，$X$取每个值时的概率如下表所示。

X	$x_1$	$x_2$	$x_3$
P	$p_1$	$p_2$	$p_3$

在n次实验中，$X$取$[x_1,x_2,x_3]$的次数分别为$[m_1,m_2,m_3](m_1+m_2+m_3=n)$，X的分布律为:
$$P(X)=C_n^{m_1}{C}_{n-m_1}^{m_2}{C}_{n-m_1-m_2}^{m_3}{p}_1^{m_1}{p}_2^{m_2}{p}_3^{m_3}$$
$$P(X)=\frac{n!}{m1!m_2!m_3!}p{1}^{m1}{p}_2^{m_2}{p}_3^{m_3}$$
由此推广到k维:
$$P(X)=\frac{n!}{{\Pi }_{i=1}^K{m}_i!}{\Pi }_{i=1}^K{p}_i^{mi}$$
其中$n$是实验的次数，$K$是$X$可以取的类别数。${\Sigma }_{i=1}^K{p}_i=1$

3.2 $\beta$分布推广到狄利克雷分布

三维$\beta$分布就是狄利克雷分布
$$f(x)=\frac{1}{B(\alpha ,\beta ,\gamma )}{p}_1^{\alpha -1}{p}_2^{\beta -1}{p}_3^{\gamma -1},p_1+p_2+p_3=1$$
其中，$B(\alpha ,\beta ,\gamma )=\frac{\Gamma (\alpha )\Gamma (\beta )\Gamma (\gamma )}{\Gamma (\alpha +\beta +\gamma )}$
推广到一般形式
$$f(x)=\frac{1}{B(\overrightarrow{\alpha })}{\Pi }_{k=1}^K{p}_k^{{\alpha }_k},{\Sigma }_{k=1}^K{p}_k=1$$
其中，$B(\overrightarrow{\alpha })=\frac{{\Pi }_{k=1}^K\Gamma ({\alpha }_k)}{\Gamma ({\Sigma }_{k=1}^K{\alpha }_k)}$，$\overrightarrow{\alpha }=({\alpha }_1,{\alpha }_2,...,{\alpha }_k)$

对比多项式的分布形式$P(X)=\frac{n!}{{\Pi }_{i=1}^K{m}_i!}{\Pi }_{i=1}^K{p}_i^{mi}$与狄利克雷分布有相同的表达书形式，所以二者互为共轭分布。