机器学习——算法学习——主题模型LDA（1）数学基础

一.重要公式

1. 贝叶斯公式

经典的贝叶斯公式表示为：。

当X为固定值时，P(X)为公共项。故可以写为：。

其中，我们对于随机变量θ，可以定义定义：

                                                                    ①先验概率：

                                                                    ②似然函数：

                                                                    ③后验概率：

因此，可以给出最后对贝叶斯公式的解读：后验概率∝似然函数*先验概率

2. Gamma函数（即Γ函数）

Gamma函数最初的由来，是为了将积分与阶乘联系到一起。哥德巴赫向伯努利兄弟写信请教，最终由当时在场的欧拉在22岁时提出Gamma函数解决。

Gamma函数的数学表示为：。

这里不再进行积分推导，直接给出Gamma函数的几个性质：

①. 当a为正整数时，。

②.  。

③.  。

二.重要分布

1. 二项分布

二项分布，即进行n次伯努利实验的概率分布。表示为B~(n,p)。n为实验次数，p为成功概率。

---

举例：经典的抛硬币问题，即一个简单的二项分布。二项分布只有两个结果，如果我们抛十次硬币，将抛正面记为成功，反面记为失败，则该分布即可表示为B~(10,0.5)。（假设正面反面概率均为0.5）

---

可以得到，。