10、复杂数据密度建模：期望最大化算法及应用

复杂数据密度建模：期望最大化算法及应用

1. 期望最大化算法详解

期望最大化（EM）算法是一种迭代方法，用于在存在隐变量的情况下学习概率模型的参数。它由两个主要步骤组成：E步（期望步）和M步（最大化步）。

1.1 Jensen不等式

Jensen不等式对于对数函数在离散情况下有重要应用。考虑两种情况：
- 情况a：先对样本取加权平均 $E[y]$，再通过对数函数。
- 情况b：先将样本通过对数函数，再取加权平均 $E[\log[y]]$。

对数函数是凹函数，所以情况b总是产生比情况a更小的值，即 $E[\log[y]] \leq \log(E[y])$。这意味着较高值的样本会被凹对数函数相对压缩。

1.2 E步

在E步中，我们根据分布 $q_i(h_i)$ 更新界 $B[{q_i(h_i)},\theta]$。具体步骤如下：
1. 对界的表达式进行操作：
- 首先，$B[{q_i(h_i)},\theta] = \sum_{i = 1}^{I} \int q_i(h_i) \log \left[\frac{\Pr(x_i,h_i|\theta)}{q_i(h_i)}\right] dh_i$
- 然后，$B[{q_i(h_i)},\theta] = \sum_{i = 1}^{I} \int q_i(h_i) \log \left[\frac{\Pr(h_i|x_i,\theta)\Pr(x_i|\theta)}{q_i(h_i)}\right] dh_i$
- 进一步展开为 $B[{q_i(h_i)},\theta] = \sum_{i = 1}^{I