Maximum Likelihood from Incomplete Data via the EM Algorithm 阅读笔记

阅读笔记：Maximum Likelihood from Incomplete Data via the EM Algorithm

作者：Arthur P. Dempster, Nan M. Laird, Donald B. Rubin (1977)
来源：Journal of the Royal Statistical Society

---

1. 论文核心贡献

本文提出了期望最大化算法（Expectation-Maximization, EM），用于在不完整数据（含缺失值或隐变量）的情况下进行最大似然估计（MLE）。EM算法通过迭代优化，逐步逼近真实参数，广泛应用于统计学、机器学习（如高斯混合模型、隐马尔可夫模型）等领域。

---

2. 问题背景

• 不完整数据：观测数据$X$可能缺失部分信息（如某些变量未记录），或存在隐变量（Latent Variables）$Z$。
• 直接MLE困难：若直接对$P(X|\theta )$进行最大化，可能因缺失数据导致计算复杂或无法求解。
• EM思路：通过引入隐变量$Z$，构造完整数据似然函数$P(X,Z|\theta )$，并迭代优化其期望。

---

3. EM算法框架

EM算法分为两步迭代：

(1) E-Step（期望步）

计算完整数据对数似然的期望（即Q函数）：
$$Q(\theta |{\theta }^{(t)})={\mathbb{E}}_{Z|X,{\theta }^{(t)}}\left[\log P(X,Z|\theta )\right]$$
其中${\theta }^{(t)}$是当前参数估计，$\mathbb{E}$表示在隐变量$Z$的后验分布$P(Z|X,{\theta }^{(t)})$下的期望。

(2) M-Step（最大化步）

最大化Q函数，更新参数：
$${\theta }^{(t+1)}=\arg \underset{\theta }{\max }Q(\theta |{\theta }^{(t)})$$

---

4. 关键理论证明

4.1 单调性证明

EM算法的核心性质是每次迭代均不降低观测数据的对数似然，即：
$$\log P(X|{\theta }^{(t+1)})\ge \log P(X|{\theta }^{(t)})$$

证明：

1. 观测数据的对数似然可分解为：
   $$\log P(X|\theta )=\underset{\text{Q函数}}{\underbrace{Q(\theta |{\theta }^{(t)})}}-\underset{\text{熵项}}{\underbrace{H(\theta |{\theta }^{(t)})}}$$
   其中$H(\theta |{\theta }^{(t)})={\mathbb{E}}_{Z|X,{\theta }^{(t)}}\left[\log P(Z|X,\theta )\right]$。

2. 由Jensen不等式，熵项满足：
   $$H({\theta }^{(t+1)}|{\theta }^{(t)})\le H({\theta }^{(t)}|{\theta }^{(t)})$$
   因为M-Step最大化$Q(\theta |{\theta }^{(t)})$，故$Q({\theta }^{(t+1)}|{\theta }^{(t)})\ge Q({\theta }^{(t)}|{\theta }^{(t)})$。

3. 结合两部分可得：
   $$\log P(X|{\theta }^{(t+1)})\ge \log P(X|{\theta }^{(t)})$$

4.2 收敛性分析

• 局部收敛：若似然函数有上界，且Q函数在$\theta$空间连续，则EM算法收敛到局部极大值。
• 全局收敛：依赖初始值选择，可通过多次随机初始化避免较差局部最优。

4.3 Q函数的构造

Q函数的定义基于完整数据似然的期望：
$$Q(\theta |{\theta }^{(t)})={\int }_{Z}P(Z|X,{\theta }^{(t)})\log P(X,Z|\theta )dZ$$
其意义是在隐变量的当前后验分布下，对完整似然取期望，从而将缺失数据问题转化为可优化问题。

---

5. 应用示例

5.1 高斯混合模型（GMM）

• E-Step：计算每个样本属于各高斯分量的后验概率（责任${\gamma }_{ik}$）：
  $${\gamma }_{ik}=\frac{{\pi }_k\mathcal{N}(x_i|{\mu }_k,{\Sigma }_k)}{{\sum }_{j=1}^K{\pi }_j\mathcal{N}(x_i|{\mu }_j,{\Sigma }_j)}$$
• M-Step：更新参数${\pi }_k,{\mu }_k,{\Sigma }_k$：
  $${\mu }_k=\frac{{\sum }_i{\gamma }_{ik}{x}_i}{{\sum }_i{\gamma }_{ik}},{\Sigma }_k=\frac{{\sum }_i{\gamma }_{ik}(x_i-{\mu }_k)(x_i-{\mu }_k{)}^T}{{\sum }_i{\gamma }_{ik}}$$

5.2 隐马尔可夫模型（HMM）

• E-Step：通过前向-后向算法计算状态转移和观测概率的期望。
• M-Step：更新转移矩阵$A$和发射矩阵$B$。

---

6. 算法优缺点

优点

• 通用性强，适用于多种含隐变量的概率模型。
• 实现简单，仅需交替计算期望和最大化。
• 保证收敛到局部最优（尽管不一定是全局最优）。

缺点

• 收敛速度可能较慢（尤其是接近最优解时）。
• 对初始值敏感，可能陷入局部最优。
• 需能计算隐变量的后验分布（E-Step）和最大化Q函数（M-Step）。

---

7. 后续影响

• 机器学习：EM是高斯混合模型（GMM）、主题模型（LDA）等的基础。
• 优化改进：衍生出变分EM、随机EM（SEM）等加速方法。
• 统计学：成为处理缺失数据的标准工具之一。

---

9. 总结

本文提出的EM算法统一了含隐变量模型的MLE估计框架，奠定了概率图模型和统计学习的基础。尽管后续有许多改进方法，但其核心思想（E-Step和M-Step的交替优化）仍是机器学习中的重要范式。