什么是EM算法

1. 背景

        EM(expectation maximization algorithm)算法，又名期望极大算法，是一种迭代算法，用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。
EM算法的每次迭代由两步组成:

E步：求期望；
M步：求极大；

EM算法可以用于生成模型的非监督学习。
最大优点：简单性和普适性。

2. EM算法的收敛性

        EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。
        EM算法是通过不断求解下界的极大化逼近求解对数似然函数极大化的算法(F函数的极大-极大算法)，在一般条件下EM算法是收敛的，但不能保证收敛到全局最优。

3. EM算法的应用

        1. EM算法是学习高斯混合模型的有效方法；

        2. 隐马尔可夫模型的非监督学习；

4. EM算法的推广-GEM算法

       特点：每次迭代增加F函数值(并不一定是极大化F函数)，从而增加似然函数值。