《李航 统计学习方法》学习笔记——第九章EM算法及其推广

9.1 EM算法

适用于无监督学习。训练数据只有输入没有对应的输出，可以认为无监督学习的训练数据是联合概率分布产生的数据。

应用场景：引自博主
如果我们要求解的是一个混合模型，只知道混合模型中各个类的分布模型（譬如都是高斯分布）和对应的采样数据，而不知道这些采样数据分别来源于哪一类（隐变量），那这时候就可以借鉴EM算法。EM算法可以用于解决数据缺失的参数估计问题（隐变量的存在实际上就是数据缺失问题，缺失了各个样本来源于哪一类的记录）

9.1.1 EM算法介绍

EM算法：含有隐变量的概率模型参数的极大似然估计法或极大后验概率估计法。每次迭代分为E步（极大期望）和M步（求极大）。

三硬币模型

在这个实例中，抛硬币A的结果（这里记为Z ）是无法观测的，所以该结果称之为隐变量。

在该例子中，也可以称（Y,Z）为完全数据，Y为不完全数据

设随意变量Y为观测到的抛硬币的结果（即观测变量），$\theta =(\pi ,p,q)$是模型参数，则可以得到模型的似然函数(因为这里是离散变量，所以是求和，连续变量则为求积分)：
$$\begin{gathered} P(Y|\theta )=\sum _{Z}P(Z|\theta )P(Y|Z,\theta ) \\ =\prod _{j=1}^n\left[\pi p^{y_j}(1-p{)}^{1-y_j}+(1-\pi )q^{y_j}(1-q{)}^{1-y_j}\right] \end{gathered}$$
按照正常的求解过程，对参数$\theta$进行极大似然估计，即：
$$\theta =\arg \underset{\theta }{\max }\log P(Y|\theta )$$
这个问题没有解析解，因为模型中既有未知变量Z也有模型变量$\theta$。只能通过迭代计算参数的估计值。EM算法就是用于求解这种问题的迭代算法。

算法9.1 EM算法
输入：观测数据变量Y,隐变量数据Z,联合分布P(Y,Z|$\theta$),条件分布P(Z|Y,$\theta$)
输出：模型参数$\theta$
（1）选择参数的初值${\theta }^{(0)}$，开始迭代；
（2）E步:记${\theta }^{(i)}$为第i此迭代参数$\theta$的估计值，在第i+1此迭代的E步，计算
$$\begin{gathered} Q(\theta ,{\theta }^{(i)})=E_Z\left[\log (P(Y,Z|\theta )|Y,{\theta }^{(i)}\right] \\ =\sum _Z\log (P(Y,Z|\theta )P(Z|Y,{\theta }^{(i)}) \end{gathered}$$

上式子的思想主要为：由于Zi是隐变量，为了能够计算$\theta$是排除其他可变量，所以通过利用固定值Z的期望代替变量Zi求近似极大化，即 $$Z_i\to E(Z)$$ Q函数的意义为在给定观测数据Y和当前参数${\theta }^{(i)}$下对为观测数据Z的条件概率分布$P(Z|Y,{\theta }^{(i)})$的期望。Q中的第一个变元表示要极大化的参数，第二个变元表示当前该参数的估计值。每次迭代的最终目的为求Q函数的极大。

（3）M步：求使得$Q(\theta ,{\theta }^{(i)})$极大化的$\theta$,确定第i+1次的迭代的参数估计值${\theta }^{(i+1)}$:
$${\theta }^{(i+1)}=\arg \underset{\theta }{\max }Q(\theta ,{\theta }^{(i)})$$

每一次迭代产生${\theta }^{(i+1)}$,会使得似然函数增大或达到局部极值。

（4）重复（2）（3）直到收敛。（较小的正数${\epsilon }_1,{\epsilon }_2$,若满足：
$$\begin{gathered} ||{\theta }^{(i+1)}-{\theta }^{(i)}||<{\epsilon }_1 \\ or \\ ||Q({\theta }^{(i+1)},{\theta }^{(i)})-Q({\theta }^{(i)},{\theta }^{(i)})||<{\epsilon }_2 \end{gathered}$$
则停止迭代。）

9.1.2 EM算法推导

模型目标：极大化观测数据Y关于参数$\theta$的对数似然函数,即极大化：
$$\begin{gathered} L(\theta )=\log P(Y|\theta )=\log \sum _{Z}P(Y,Z|\theta ) \\ =\log (\sum _{Z}P(Y|Z,\theta )P(Z|\theta )) \end{gathered}$$
在极大化的过程中，因为涉及到隐变量Z未知，所以极大化求解困难。
所以EM的主要思想是迭代逐步近似极大化$L(\theta )$。
假设新估计值$\theta$,上一次的估计值${\theta }^{(i)}$,为了每次迭代能够使得极大值尽可能增加，所以这里考虑每次迭代对数似然函数的增加量：
$$\begin{gathered} L(\theta )-L({\theta }^{(i)})=\log (\sum _{Z}P(Y|Z,\theta )P(Z|\theta ))-\log P(Y|{\theta }^{(i)}) \\ =\log (\sum _{Z}P(Z|Y,{\theta }^{(i)})\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})})-\log P(Y|{\theta }^{(i)}) \end{gathered}$$

Jensen不等式：
$$\begin{gathered} \log \sum _j{\lambda }_j{y}_j⩾\sum _j{\lambda }_j\log y_i \\ {\lambda }_j⩾0and\sum _j{\lambda }_j=1 \end{gathered}$$

利用以上不等式可以变形为
$$\begin{gathered} L(\theta )-L({\theta }^{(i)})⩾\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})}-\log P(Y|{\theta }^{(i)}) \\ =\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})} \end{gathered}$$
把$L({\theta }^{(i)})$移向到等号右侧，令：
$$B(\theta ,{\theta }^{(i)})=L({\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}$$
得到下界$L(\theta )$的一个下界$B(\theta ,{\theta }^{(i)})$：
$$L(\theta )⩾B(\theta ,{\theta }^{(i)})$$
因此，任意一个使得下界增大的$\theta$,也可以使似然函数增大，所以为了似然函数尽可能大的增长，应选择${\theta }^{(i+1)}$使得下界达到极大：
$${\theta }^{(i+1)}=\arg \underset{\theta }{\max }B(\theta ,{\theta }^{(i)})$$
在求解该式子中，省去一些不包含$\theta$变量得常数项，得：
$$\begin{gathered} {\theta }^{(i+1)}=\arg \underset{\theta }{\max }(L({\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}) \\ =\arg \underset{\theta }{\max } \end{gathered}$$