EM (Expectation Maximization) 算法理解

主要用途
解决存在隐含随机变量的估计问题：最大似然估计($MLE$），最大后验概率。

原理
给定一个数据集 $x^1,x^2,...,x^n$,估计如下最大化问题：

此处， $z$（取值从$z^1$到 $z^m$）是隐含随机变量（可以看成是 $x^i$的标签），因为不知道 $z^1$到 $z^m$的具体取值，因而上述问题难以求解。

下面用EM算法来求解

其中 $∑_{z=z^j,j=1: m}Q^i (z)=1$，这样得到了 $l(θ)$的一个下界。

为了使得等式成立，有：

因此：

EM算法过程 （不断迭代，直到收敛）

• $E$过程
  对于每一个$i$，求$Q^i (z)=p(z|x^i;θ)$
  （注意: $E$ 过程中的$θ$是由上一个$M$过程求得，最开始迭代所用$θ$是随机初始化的）。
• $M$过程
  

收敛性（此处应该以验证的角度来看，而不是以具体计算过程的角度来看）

此处已经假设 $Q^i$中的 $θ^{t+1}$是求解到了的，这就是为什么以验证的角度来看

此处已经假设 $Q^i$中的 $θ^t$是求解到了的，这就是为什么以验证的角度来看

注：第一个不等式只有在$Q^i$取值合适（$Jensen$ $inequality$等号成立条件）时才有等号成立，第二个不等式是由“$M$过程”得到，其中的两个等式是由“$E$过程”得到。

参考文献
1 期望最大化算法, binary_seach, December 3, 2012
2 CS 229 Lecture notes, Andrew Ng

深入理解与阅读
http://blog.tomtung.com/2011/10/em-algorithm/