30、EM算法：原理、应用与收敛性分析

EM算法：原理、应用与收敛性分析

1. EM算法推导

目标是为解决某一问题推导EM算法，但最终算法并非完全标准。对于每个观测投影$Y_i$，缺失数据包括方向$\Theta_i$和所观察对象的类型$K_i$，$\sigma_i^2$和对象$x_k$被视为参数。完整数据集为$(Y_i, \Theta_i, K_i)$，$i = 1,2, \cdots, n$，完整的最大似然问题是最小化：
[
\Lambda_n(S) \triangleq -\frac{1}{n} \sum_{i=1}^{n} \log \left( \pi_{K_i} \varphi(\Theta_i|K_i) f_{Y|\Theta,K}(Y_i|\Theta_i, x_{K_i}, \sigma_i) \right)
]
这里需要对所有概率向量$\pi$、所有密度函数$\varphi(\cdot|k)$、所有方差矩阵$\sigma_i^2$以及所有$x_1, x_2, \cdots, x_{\kappa}$进行最小化操作。

2. E步

需要计算条件期望$E[\Lambda_n(S)|Y]$。根据贝叶斯规则，$(K, \Theta)$在给定$Y$条件下的分布为：
[
P[K = k|Y = y] f_{\Theta|Y,K}(\theta|y, x_k) = \frac{\pi_k f_{\Theta|K}(\theta|k) f_{Y|\Theta,K}(y|\theta, x_k, \sigma)}{f_Y(y)}
]
在当前状态$S^{[1]}$下，设$Y_n = {Y_1, Y_2, \cdots, Y_n}$，可得： <