Expectation Maximization

阅读http://blog.pluskid.org/?p=81文章中的一些知识整理：

=====================================================================

Ａndrew Ng 关于EM有两个不错的课件

http://www.stanford.edu/class/cs229/notes/cs229-notes7b.pdf Mixtures of Gaussians and the EM algorithm

http://www.stanford.edu/class/cs229/notes/cs229-notes8.pdf The EM algorithm

=====================================================================

EM算法前面公式推导就是利用Jensen不等式缩放期望。建立下界然后优化下界。

                       .

                                                          .

                                                          .

                                                 .

                         在给定时.

                          固定，并将视作变量，对上面的求导后，得到.

                           

             而对于所有的和都成立     

如果我们定义从前面的推导中我们知道，EM可以看作是J的坐标上升法，E步固定，优化，M步固定优化。

图解：

                            

        图中的直线式迭代优化的路径，可以看到每一步都会向最优值前进一步，而且前进路线是平行于坐标轴的，因为每一步只优化一个变量。犹如在x-y坐标系中找一个曲线的极值，然而曲线函数不能直接求导，因此什么梯度下降方法就不适用了。但固定一个变量后，另外一个可以通过求导得到，因此可以使用坐标上升法，一次固定一个变量，对另外的求极值，最后逐步逼近极值。对应到EM上，E步：固定θ，优化Q；M步：固定Q，优化θ；交替将极值推向最大。

高斯的EM应用见，http://blog.youkuaiyun.com/abcjennifer/article/details/8198352

====================================================================