27、深入解析EM算法：原理、应用与优化

深入解析EM算法：原理、应用与优化

1. 最大似然估计

最大似然估计是一种用于估计未知参数的方法，期望最大化（EM）算法则是为解决最大似然估计问题而设计的迭代算法。其一般场景为，观察到随机变量 $Y$ 的一个随机样本 $Y_1, Y_2, \cdots, Y_n$，$Y$ 关于某个已知支配测度的概率密度函数 $f(\cdot|x_0)$ 除了未知“参数” $x_0$ 外是已知的。目标是估计 $x_0$，也就是解决最大似然问题：
[
\max_{x} \prod_{i=1}^{n} f(Y_i|x)
]
若解存在且唯一，则称为 $x_0$ 的最大似然估计量，通常记为 $\hat{x}$。

EM算法的概念由相关学者提出，他们统一了早期的各种EM算法实例，并强调了最大似然估计问题中的“缺失”数据概念。以有限混合概率密度为例，设随机变量 $Y$ 是 $m$ 个连续随机变量 $Z_1, Z_2, \cdots, Z_m$ 的混合，$Y$ 的概率密度函数为：
[
f_Y(y) = \sum_{j=1}^{m} w_j^ f(y|j)
]
其中 $w^ = (w_1^ , w_2^ , \cdots, w_m^ )$ 是概率向量。给定 $Y$ 的随机样本 $Y_1, Y_2, \cdots, Y_n$，目标是估计 $w^ $，对应的最大似然问题为：
[
\max_{w} \prod_{i=1}^{m} \left{ \sum_{j=1}^{m} w_j f(Y_i|j) \right}
]
约束条件为 $w = (w_1, w_2