10、复杂数据密度建模与期望最大化算法应用

复杂数据密度建模与期望最大化算法应用

1. 期望最大化算法详解

1.1 Jensen不等式与对数函数

对于对数函数，存在Jensen不等式。以离散情况为例，有两种操作方式：
- 方式a：先对示例取加权平均 $E[y]$，再通过对数函数处理。
- 方式b：先将样本通过对数函数处理，再取加权平均 $E[\log[y]]$。

方式b得到的值总是小于方式a，即 $E[\log[y]] \leq \log(E[y])$，这是因为凹的对数函数会相对压缩高值示例。

1.2 E - 步

在E - 步中，我们针对分布 $q_i(h_i)$ 更新边界 $B[{q_i(h_i)},\theta]$。具体操作如下：
首先对边界表达式进行处理：
[
\begin{align }
B[{q_i(h_i)},\theta] &= \sum_{i = 1}^{I} \int q_i(h_i) \log \left[ \frac{\Pr(x_i,h_i|\theta)}{q_i(h_i)} \right] dh_i \
&= \sum_{i = 1}^{I} \int q_i(h_i) \log \left[ \frac{\Pr(h_i|x_i,\theta)\Pr(x_i|\theta)}{q_i(h_i)} \right] dh_i \
&= \sum_{i = 1}^{I} \int q_i(h_i) \log[\Pr(x_i|\theta)] dh_i - \sum_{i = 1}^{I} \int q_i(h_i) \log \left[ \f