ML-- EM

一.EM简介

EM算法算是一种迭代算法，1977年由Dempster等人提出，主要用于含有隐变量（间接变量）的概率模型参数的极大似然估计，其中E —求解期望（Expectation）;M—求解极大似然函数（Maximization）.个人认为EM算法在分类，回归中有着相对于其他回归来说有着极大的优势，在训练数据只有输入没有输出的情况下，EM算法可以用于生成模型。

二.EM推导

我们的目标是极大化观测数据$Y$ 关于参数$\theta$ 的对数似然函数，即极大化
$$L\left(\theta \right)=lnP\left(Y|\theta \right)=ln\sum _{Z}P\left(Y,Z|\theta \right)$$$$=ln\sum _{Z}P\left(Y,Z|\theta \right)P\left(Z|\theta \right)$$
我们可以观察到这里主要的苦难就是极大化中包含着求和的对数。
在另一个角度来说，EM算法实际上就是通过迭代逐渐接近极大化似然函数$L\left(\theta \right)$ ,换句话说，就是通过不断找取通过其似然函数的下界的函数，进而再求取极大似然，使其逐渐逼近于所求的似然函数的全局最大值。
即假设在第i次迭代后$\theta$ 的估计值为${\theta }^{\left(i\right)}$ ,我们所找取得第$i+1$ 次的${\theta }^{\left(i+1\right)}$ ,使得$L\left(\theta \right)$ 增加，即$L\left(\theta \right)>L\left({\theta }^{\left(i\right)}\right)$ ,从而通过逐步迭代达到最大值。
因此可以巧妙的运用两者的差进而找出其似然函数。即：
$$L\left(\theta \right)-L\left({\theta }^{\left(i\right)}\right)=ln\left\{\sum _{Z}P\left(Y|Z,\theta \right)P\left(Z|\theta \right)\right\}-lnP(y|{\theta }^{(i)})$$用Jensen不等式可以得到其下界：

注：

$\forall x,yϵdomf,0\le \theta \le 1,$ 有$f\left(\theta x+\left(1-\theta \right)y\right)\le \theta f(x)+\left(1-\theta \right)f\left(y\right)$ ;即咋严格意义上的凸函数的定义；在概率论中则可以表示为：$f\left(E\left(X\right)\right)\le E\left(f\left(X\right)\right)$ .
因此，我们可以在此表示为：$$L\left(\theta \right)-L\left({\theta }^{\left(i\right)}\right)=ln\left\{\sum _{Z}P\left(Y|Z,{\theta }^{\left(i\right)}\right)\frac{P\left(Y|Z,\theta \right)P\left(Z|\theta \right)}{P\left(Y|Z,{\theta }^i\right)}\right\}-lnP\left(Y|{\theta }^i\right)$$$$\ge \sum _{Z}P\left(Z|Y,{\theta }^{\left(i\right)}\right)ln\frac{P\left(Y|Z,\theta \right)P\left(Z|\theta \right)}{P\left(Y|Z,{\theta }^{\left(i\right)}\right)}-lnP\left(Y|{\theta }^i\right)$$$$=\sum _{Z}P\left(Z|Y,{\theta }^{\left(i\right)}\right)ln\frac{P\left(Y|Z,\theta \right)P\left(Z|\theta \right)}{P\left(Y|Z,{\theta }^{\left(i\right)}\right)P\left(Y|{\theta }^{\left(i\right)}\right)}$$
假设令：$B\left(\theta ,{\theta }^{\left(i\right)}\right)=L\left({\theta }^{\left(i\right)}\right)+{\sum }_{Z}P\left(Z|Y,{\theta }^{\left(i\right)}\right)ln\frac{P\left(Y|Z,\theta \right)P\left(Z|\theta \right)}{P\left(Y|Z,{\theta }^{\left(i\right)}\right)P\left(Y|{\theta }^{\left(i\right)}\right)}$
则：$$L\left(\theta \right)\ge B\left(\theta ,{\theta }^i\right)$$
也就是说等价函数$B\left(\theta ,{\theta }^i\right)$ 是$L\left(\theta \right)$ 的一个下界，而且又因为${\theta }^{\left(i\right)}$ 为第i次后迭代的估计值，故$L\left({\theta }^{\left(i\right)}\right)=B\left({\theta }^{\left(i\right)},{\theta }^{\left(i\right)}\right)$
因此，任何可以使得$B\left(\theta ,{\theta }^{\left(i\right)}\right)$ 增大的$\theta$ ，也可以使得$L\left(\theta \right)$增大，为了是似然函数尽可能的增大，我们选择${\theta }^{\left(i+1\right)}$ 使$B\left(\theta ,{\theta }^{\left(i\right)}\right)$ 达到极大，即对：$${\theta }^{\left(i+1\right)}=argm{a}_{\theta }xB\left(\theta ,{\theta }^{\left(i\right)}\right)$$

通过上图可看出，我们可已通过求取下界的极大似然函数无限的去逼近真是的似然函数的全局最大值。哈哈，是不是很完美的一个解释呢。

对 ${\theta }^{\left(i+1\right)}$ 求表达式，可以将常数项去掉，不会造成影响。因此可以进行下列转化：$${\theta }^{\left(i+1\right)}=argmax\left\{L\left({\theta }^{\left(i\right)}\right)+\sum _{Z}P\left(Z|Y,{\theta }^{\left(i\right)}\right)ln\frac{P\left(Y|Z,\theta \right)P\left(Z|\theta \right)}{P\left(Z|Y,{\theta }^{\left(i\right)}\right)P\left(Y|{\theta }^{\left(i\right)}\right)}\right\}$$ $$=argmax\left\{\sum _{Z}P\left(Z|Y,{\theta }^{\left(i\right)}\right)ln\frac{P\left(Y|Z,\theta \right)P\left(Z|\theta \right)}{P\left(Z|Y,{\theta }^{\left(i\right)}\right)P\left(Y|{\theta }^{\left(i\right)}\right)}\right\}$$ $$=argmax\left\{\sum _{Z}P\left(Z|Y,{\theta }^{\left(i\right)}\right)lnP\left(Y|Z,\theta \right)P\left(Z|\theta \right)\right\}$$ $$=argmax\left\{\sum _{Z}P\left(Z|Y,{\theta }^{\left(i\right)}\right)lnP\left(Y,Z|\theta \right)\right\}$$
由公式可看出：完全数据的极大似然函数$P\left(Z|Y,\theta \right)$关于在给定观测数据Y和初始参数${\theta }^{\left(i\right)}$ 下对应的隐变量的条件概率分布$P\left(Z|Y,{\theta }^{\left(i\right)}\right)$ 的期望即为所要求取的极大化的似然函数。

三.

上图为 小编的学习笔记，仅供参考。