19、概率分布与贝叶斯统计在机器学习中的应用

概率分布与贝叶斯统计在机器学习中的应用

1. 二项分布的期望与方差

1.1 二项分布期望推导

在计算二项分布的期望时，我们可以去掉乘数 $k = 0$ 的第一项，得到：
$E (X) = \sum_{k = 1}^{n} \frac{n!}{(k - 1)! (n - k)!} \pi^k \times (1 - \pi)^{n - k}$
通过对 $n!$ 和 $\pi^k$ 进行因式分解，即 $n! = n (n - 1)!$ 和 $\pi^k = \pi \pi^{k - 1}$，同时 $n - k = (n - 1) - (k - 1)$，可将上式进一步转化为：
$E (X) = \sum_{k = 1}^{n} \frac{n (n - 1)!}{(k - 1)! ((n - 1) - (k - 1))!} \pi \pi^{k - 1} \times (1 - \pi)^{n - k}$
再令 $j = k - 1$，$m = n - 1$，则有：
$E (X) = n\pi \sum_{j = 0}^{m} \frac{m!}{j! (m - j)!} \pi^j \times (1 - \pi)^{m - j}$
由于求和项内的式子与相关公式类似，其求和结果为 1，所以最终得到二项分布的期望公式：
$E_{binomial} (X) = n\pi$
这表明，如果单次试验成功的概率为 $\pi$，那么 $n$ 次试验中成功的期望次数就是 $n\pi$。例如，单次试验成功的概率为 0.2，那么 100 次试验中成功的期望次数就是 20。

1.2 二项分布方差

二项分布随机变量描