EM算法简介

1.简介 

EM算法是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为期望步（E步），另一个为极大步（M步），所以算法被称为EM算法（Expectation Maximization Algorithm）。EM算法受到缺失思想影响，最初是为了解决数据缺失情况下的参数估计问题。其基本思想是：首先根据己经给出的观测数据，估计出模型参数的值；然后再依据上一步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前己经观测到的数据重新再对参数值进行估计，然后反复迭代，直至最后收敛，迭代结束。  

2.算法流程

介绍EM算法首先需要了解：极大似然估计和Jensen不等式。

初始化分布参数θ； 重复E、M步骤直到收敛： 
E步骤：根据参数θ初始值或上一次迭代所得参数值来计算出隐性变量的后验概率（即隐性变量的期望），作为隐性变量的现估计值：

M步骤：将似然函数最大化以获得新的参数值： 

3.EM算法优缺点

优点：算法简单，稳定上升的步骤能非常可靠地找到“最优的收敛值 
缺点：对初始值敏感，EM算法需要初始化参数θ，而参数θ的选择直接影响收敛效率以及能否得到全局最优解。

4.EM算法应用

K-means聚类：E步骤为聚类过程，M步骤为更新类簇中心。 
GMM（高斯混合模型）。

---

引用《EM算法（Expectation Maximization Algorithm）详解》

引用《EM算法》