机器学习之EM算法-期望极大算法

EM算法是机器学习十大算法之一，可以简单的分为两步：
E步：求期望（expectation）
M步：求极大（maximization)

EM算法引入
概率模型有时候既含有观测变量，又含有隐变量或潜在变量，如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计方法估计模型参数，但是当模型含有隐变量时，就不能简单的使用这些方法，EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法，我们讨论极大似然估计，极大后验概率估计与其类似。
参考统计学习方法书中的一个例子来引入EM算法， 假设有3枚硬币，分别记做A、B、C，这些硬币正面出现的概率分别是π、p、q，进行如下实验：

先掷硬币A，根据结果选出硬币B和硬币C，正面选硬币B，反面选硬币C
通过选择出的硬币，掷硬币的结果出现正面为1，反面为0
如此独立地重复n次实验，我们当前规定n=10，则10次的结果如下所示：
1,1,0,1,0,0,1,0,1,1
假设只通过观测到掷硬币的结果，不能观测掷硬币的过程，问如何估计三个硬币出现正面的概率？我们来构建这样一个三硬币模型：
若y=1，表示这此看到的是正面，这个正面有可能是B的正面，也可能是C的正面，则P(1∣θ)=πp+(1−π)q
若y=0，则P(0∣θ)=π(1−p)+(1−π)(1−q)

y是观测变量，表示一次观测结果是1或0，z是隐藏变量，表示掷硬币A的结果，这个是观测不到结果的，θ=(π,p,q)表示模型参数，将观测数据表示为Y=(Y1,Y2,…,Yn)T,未观测的数据表示为Z=(Z1,Z2,…,Zn)T,则观测函数的似然函数是：
考虑求模型参数θ=(π,p,q)的极大似然估计，即：

这个问题没有解析解，只有通过迭代方法来求解，EM算法就是可以用于求解这个问题的一种迭代算法，下面给出EM算法的迭代过程：

1. 首先选取初始值
记做θ0=(π0,p0,q0),第i次的迭代参数的估计值为θi=(πi,pi,qi)

2.E步
计算在模型参数πi，pi，qi下观测变量yi来源于硬币B的概率：
这个公式的分母是P(Y∣θ)，分子表示是来源与B硬币的概率。
3.M步：
计算模型参数的新估计值：
因为B硬币A硬币出现正面的结果，所以A硬币概率就是μj 的平均值。
从P(Y∣θ)到π,p,q构成了一个闭环流程，接下来可以通过迭代法来做完成。

说明EM算法与初值的选择有关，选择不同的初值可能得到不同的参数估计值。