EM算法初探

说是初探，然而并没有什么干货，开一个页面，等学到一定深度来整理。
前言
在概率模型中，如果变量都是观测变量（observable variable），则可以直接用极大似然估计法活着贝叶斯估计方法，但是变量除了有observable variable，还有潜在变量（latent variable），则需要采用EM（expectation maximization algorithm）算法。
三硬币模型

很容易得出：

$$P(Y|\theta)=\prod_{j=1}^{n}[\pi p^{y_j}(1-p)^{1-y_j}+(1-\pi)q^{1-y_j}(1-q)^{y_j}]$$
$$P(Y|\theta)=\sum_zP(Z|\theta)P(Y|Z,\theta)$$
其中Y是观测数据，Z是中间变量
求 $\theta=arg max_\theta log P(Y|\theta)$，也就是求模型参数 $\theta=(\pi,p,q)$的极大似然估计。
EM算法
input: $Y Z P(Y,Z|\theta) P(Z,Y|\theta)$
output: $\theta$
(1)选择初值 $\theta^{(0)}$，开始迭代
(2)E：记 $\theta^{(i)}$为第 $i$次参数$\theta$的估计值，在第 $i+1$次迭代的E步，计算:
$$Q(\theta,\theta^{(i)})=E_z[logP(Y,Z|\theta)]=\sum_zlog P(Y,Z|\theta)P(Z|Y,\theta^{(i)})$$
(3)M: $\theta^{(i+1)}=arg max_\theta Q(\theta, \theta^{(i)})$
(4)重复(2)(3)，直到收敛
参考文献
李航《统计学习方法》
从最大似然到EM算法浅解
K-means聚类算法