EM算法

EM算法

　　用X表示观测随机变量，Z表示隐随机变量。X和Z连在一起称为完全数据(complete-data)，Y为不完全数据(incomplete-data)。给定训练样本$X=\{ x_1, x_2, \cdots, x_n \}$,样例间独立，EM算法通过迭代求样本的极大似然估计$L(\theta)$来估计模型参数：

$$L(\theta)=\sum_{i=1}^n\log\;p(x_i|\theta)\\ \qquad\qquad =\sum_{i=1}^n\log\sum_zp(x_i,z|\theta)$$
　　对于每一个样例 $x_i$， $Q_i$表示该样例隐变量 $z$的某种分布，$Q_i$满足如下条件：
$$\sum_zQ_i(z)=1,Q_i(z)\geq0\tag{1}$$
　　如果z是连续性的，那么 $Q_i$是概率密度函数，需要将求和符号换成积分符号。比如，要讲班上的学生聚类，假设隐藏变量z是身高，那么Q_i就是连续的高斯分布，如果隐藏变量是男女，那么就是伯努利分布。不同样例的隐藏变量可能属于不同的分布。
　　构造极大似然函数 $L(\theta)$的下界：
$$L(\theta)=\sum_{i=1}^n\log\sum_zp(x_i,z|\theta)\tag{2}$$
$$\qquad\qquad=\sum_{i=1}^n\log\sum_zQ_i(z){{p(x_i,z|\theta)} \over {Q_i(z)}}\tag{3}$$
$$\qquad\qquad\geq\sum_{i=1}^n\sum_zQ_i(z)\log{{p(x_i,z|\theta)}\over Q_i(z)}\tag{4}$$
式(3)，式(4)可以理解为：
$$f\left(E_{z\sim Q_i}\left[{{p(x_i,z|\theta)}\over Q_i(z)}\right]\right)\geq E_{z\sim Q_i}\left[f\left({{p(x_i,z|\theta)}\over Q_i(z)}\right)\right]$$
根据式(4)， $L(\theta)$的下界和 $\theta$， $p(x_i,z|\theta)$， $Q_i(z)$有关。
　　于是我们可以先固定 $\theta$，调整 $p(x_i,z|\theta)$， $Q_i(z)$的值来使下界不断提升，以逼近 $L(\theta)$的真实值。根据Jensen不等式，当随机变量 ${{p(x_i,z|\theta)}\over Q_i(z)}$为常数时，等式成立。即当
$${{p(x_i,z|\theta)}\over Q_i(z)}=c\tag{5}$$
时，下界和 $L(\theta)$相等。
由式(5)，式(1)可知，
$$Q_i(z) ={{p(x_i,z|\theta)}\over{\sum_zp(x_i,z|\theta)}} \\ \qquad={{p(x_i,z|\theta)}\over{p(x_i|\theta)}} \\ \qquad=p(z|x_i,\theta)$$
　　所以，只要 $Q_i(z)$为后验概率， $L(\theta)$的形式转换成(4)，由于(4)的log中没有求和，这样的式子求导比较原来直接求 $L(\theta)$的导容易。此外，在 $\theta$固定为 $\theta ^*$时，只要 $Q_i(z)$为后验概率， $L(\theta ^*)$与下界值相等。由于 $L(\theta ^*)$一直大于等于下界，所以变换 $\theta$的值，使下界变大， $L(\theta)$也变大。
　　于是迭代过程为：第t次迭代的结果为 $\theta _t$，在接下来第t+1次迭代中，E步：当 $Q_i(z)$为 $p(z|x_i,\theta _t)$时，下界最大， $L(\theta)$近似为下界；M步：对 $\theta$求导，使 $L(\theta)$增大。
　　根据个人理解，EM算法适用于包含隐变量，即样本可能含有多个分布的情况，迭代求出不同分布模型的参数 $\theta$，参见混合高斯模型的应用。
　　本文参考自李航的统计学习分析以及 JerryLead的博客，是本人的学习笔记，如有侵权，请告知，并感谢所有无私奉献的博主。