《统计学习方法》（第九章）—— EM算法及推广

EM算法的引入

概率模型有时既含有观测变量，又含有隐变量或潜在变量。所以不能直接用极大似然估计去估计参数。EM算法就是对含有隐变量模型的参数的极大似然估计算法。

EM算法

   一般用$Y$表示观测随机变量的数据，$Z$表示隐随机变量的数据，$Y$和$Z$连起来称为完全数据，$Y$称为不完全数据。假设给定观测数据$Y$，其概率分布$P(Y|\theta )$，其中$\theta$为参数。那么不完全数据$Y$的似然函数是$P(Y|\theta )$,其对数似然函数是$L(\theta )=\log P(Y|\theta )$,假设$Y$和$Z$的联合改论分布是$P(Y,Z|\theta )$，那么完全数据的对数似然函数是$L(\theta )=P(Y,Z|\theta )$
$EM$算法基本思路是先求期望$M$再进一步最大化，似然函数
算法：
输入：观测变量$Y$，隐变量数据$Z$，联合分布$P(Y,Z|\theta )$,条件分布$P(Z|Y,\theta )$
输出：模型参数$\theta$
$(1)$选择参数的初始值${\theta }^{(0)},$开始迭代
$(2)$$E$步：记${\theta }^{(i)}$，为第$i$次迭代的参数估计值，在第$i+1$次迭代的$E$计算
$$Q(\theta ,{\theta }^{(i)})=E_z[\log P(Y,Z|\theta )|Y,{\theta }^{(i)}]$$
$$=\sum _Z\log P(Y,Z|\theta )P(Z|Y,{\theta }^{(i)})$$
$(3)$$M$步:求使$Q(\theta ,{\theta }^{(i)})$极大化的$\theta$，确定第$i+1$次迭代的参数估计值${\theta }^{(i+1)}$
$${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{(i)})$$
$(4)$重复$(2),(3)$直到收敛

注意，定义$Q(\theta ,{\theta }^{(i)})=E_Z[\log P(Y,Z|\theta )|Y,{\theta }^{(i)}]$
当$$||{\theta }^{i+1}-{\theta }^i||<{ϵ}_{1}or||Q({\theta }^{(i+1)},{\theta }^{(i)})-Q({\theta }^{(i)},{\theta }^{(i)})||<{ϵ}_2$$
算法停止

EM算法的导出

对数似然函数为
$$L(\theta )=\log P(Y|\theta )=\log \sum _{Z}P(Y,Z|\theta )$$
$$=\log (\sum _P(Y|Z,\theta )P(Z|\theta ))$$
我们希望新值$L(\theta )>L({\theta }^{(i)})$于是
$$L(\theta )-L({\theta }^{(i)})=\log (\sum _{Z}P(Y|Z,\theta )P(Z|\theta ))-\log P(Y|{\theta }^{(i)})$$
利用$Jensen$不等式得
$$L(\theta )-L({\theta }^{(i)})=\log (\sum _{Z}P(Z|Y,{\theta }^i)\frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^i)})-\log P(Y|{\theta }^{(i)})$$
$$\ge \sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^i)}-\log P(Y|{\theta }^{(i)})$$
$$=\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}$$
令
$$B(\theta ,{\theta }^{(i)})=L({\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})}$$
则
$$L(\theta )\ge B(\theta ,{\theta }^{(i)})$$
又
$$L({\theta }^{(i)})=B({\theta }^{(i)},{\theta }^{(i)})$$
因此我们可以使$B(\theta ,{\theta }^{(i)})$增大
$${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}B(\theta ,{\theta }^{(i)})$$
$${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}(L({\theta }^{(i)})+\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})})$$
$$=\underset{\theta }{\mathrm{argmax}}(\sum _{Z}P(Z|Y,{\theta }^{(i)})\log \frac{P(Y|Z,\theta )P(Z|\theta )}{P(Z|Y,{\theta }^{(i)})P(Y|{\theta }^{(i)})})$$
$$=\underset{\theta }{\mathrm{argmax}}(\sum _{Z}P(Z|Y,{\theta }^{(i)})\log P(Y,Z|\theta ))$$
$$=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{(i)})$$
即$EM$算法是对极大似然得逼近

EM算法在无监督学习中的应用

   对于训练数据T={(x1,y1),(x2,y2),...,(xN,yN)}T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\}T={(x1​,y1​),(x2​,y2​),...,(xN​,yN​)},我们可以把$x_i$看成观测变量$y_i$看成隐变量，这样就可以利用算法来估计参数

EM算法的收敛性

   设$P(Y|\theta )$为观测数据的似然函数，${\theta }^i(i=1,2,...)$为$EM$算法得到的参数估计,$P(Y|{\theta }^{(i)})(i=1,2,...)$为对应似然函数序列,则$P(Y|{\theta }^{(i)})$是单调递增的，即
$$P(Y|{\theta }^{i+1})\ge P(Y|{\theta }^i)$$
   证明
$$P(Y|\theta )\ge \frac{P(Y,Z|\theta )}{P(Z|Y,\theta )}$$
$$\log P(Y|\theta )=\log P(Y,Z|\theta )-\log P(Z|Y,\theta )$$
$$Q(\theta ,{\theta }^{(i)})=E_Z[\log P(Y,Z|\theta )|Y,{\theta }^{(i)}]$$
$$H(\theta ,{\theta }^{(i)})=\sum _Z\log P(Z|Y,\theta )P(Z|Y,{\theta }^{(i)})$$
于是对数似然函数可写成
$$\log P(Y|\theta )=Q(\theta ,{\theta }^{(i)})-H(\theta ,{\theta }^{(i)})$$
取
$$\log P(Y|{\theta }^{(i+1)})-\log P(Y|{\theta }^{(i)})$$
$$=[Q({\theta }^{(i+1)},{\theta }^{(i)})-Q({\theta }^{(i)},{\theta }^{(i)})]-[H({\theta }^{(i+1)},{\theta }^{(i)})-H({\theta }^{(i)},{\theta }^{(i)})]$$
由极大定义
$$[Q({\theta }^{(i+1)},{\theta }^{(i)})-Q({\theta }^{(i)},{\theta }^{(i)})]\ge 0$$
$$[H({\theta }^{(i+1)},{\theta }^{(i)})-H({\theta }^{(i)},{\theta }^{(i)})]=\sum _Z(\log \frac{P(Z|Y,{\theta }^{(i+1)})}{P(Z|Y,{\theta }^{(i)})})P(Z|Y,{\theta }^{(i)})$$
$$\le \log (\sum _Z)\frac{P(Z|Y,{\theta }^{(i+1)})}{P(Z|Y,{\theta }^{(i)})}P(Z|Y,{\theta }^{(i)})=0$$
最终得证

   设$L(\theta )=\log P(Y|\theta )$为观测数据得对数似然函数，${\theta }^{(i)},i=1,2,...$为EM算法得到的参数序列，$L({\theta }^{(i)})$为对应的对数似然函数序列，
则
         (1)如果$P(Y|X)$有上界，则$L({\theta }^{(i)})$收敛到某一值$L^{\ast }$
         (2)在函数$Q$与$L$满足一定条件下，EM算法得到收敛的${\theta }^{\ast }$是稳定点

EM算法在高斯混合模型学习中的应用

高斯混合模型

• 定义高斯混合模型是指具有如下形式的概率分布模型
  $$P(y|\theta )=\sum _{k=1}^K{a}_k\varphi (y|{\theta }_k)$$
  其中$a_k\ge 0$是系数，$\sum _{k=1}^K{a}_k=1,\varphi (y|{\theta }_k)$是高斯分布密度,${\theta }_k({\mu }_k,{\sigma }_k^2)$
  $$\varphi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp (-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2})$$
  称为第k个模型

高斯混合模型参数估计的EM算法

• 推导算法

1. 明确隐变量，写出完全数据的对数似然函数
   $${\gamma }_{jk}=\{\begin{array}{ll}1& 第j个观测来自第k个分量模型\\ 0& 其他\end{array}$$
   $$j=1,2,...,N;k=1,2,...,K$$
   于是似然函数
   $$P(y,\gamma |\theta )=\prod _{k=1}^K\prod _{j=1}^N[a_k\varphi (y_i|{\theta }_k){]}^{{\gamma }_{jk}}$$
   $$=\prod _{k=1}^K{a}^{n_k}\prod _{j=1}^N[\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp (-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2})]$$
   $n_k=\sum _{j=1}^N{\gamma }_{jk},\sum _{k=1}^K{n}_k=N$
   log⁡P(y,γ∣θ)=∑k=1K{nklog⁡ak+∑j=1Nγjk[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}\log P(y,\gamma|\theta)=\sum\limits_{k=1}^K\{n_k\log a_k +\sum\limits_{j=1}^N\gamma_{jk}[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}logP(y,γ∣θ)=k=1∑K​{nk​logak​+j=1∑N​γjk​[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}
2. EM算法的E，计算Q
   $$Q(\theta ,{\theta }^{(i)})=E[\log P(y,\gamma |\theta )|y,{\theta }^{(i)}]$$
   =E{∑k=1K{nklog⁡ak+∑j=1Nγjk[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}}=E\{\sum\limits_{k=1}^K\{n_k\log a_k +\sum\limits_{j=1}^N\gamma_{jk}[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}\}=E{k=1∑K​{nk​logak​+j=1∑N​γjk​[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}}
   ∑k=1K{∑j=1N(γjk)log⁡ak+∑j=1NE(γjk)[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}\sum\limits_{k=1}^K\{\sum\limits_{j=1}^N(\gamma_{jk})\log a_k +\sum\limits_{j=1}^NE(\gamma_{jk})[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}k=1∑K​{j=1∑N​(γjk​)logak​+j=1∑N​E(γjk​)[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}
   $$E({\gamma }_{jk}|y,\theta )=P({\gamma }_{jk}=1|y,\theta )$$
   $$=\frac{P({\gamma }_{jk}=1|y,\theta )}{\sum _{k=1}^{K}P({\gamma }_{jk}=1|y,\theta )}$$
   $$=\frac{P(y_j|{\gamma }_{jk}=1,\theta )P({\gamma }_{jk}=1|\theta )}{\sum _{k=1}^{K}P(y_j|{\gamma }_{jk}=1,\theta )P({\gamma }_{jk}=1|\theta )}$$
   $$\frac{a_k\varphi (y_i|{\theta }_k)}{\sum _{k=1}^K{a}_k\varphi (y_i|{\theta }_k)}$$
   记$\widehat{{\gamma }_{jk}}=E({\gamma }_{jk}|y,\theta )$
   Q(θ,θ(i))=∑k=1K{nklog⁡ak+∑j=1Nγjk^[log⁡(12π)−log⁡σk−12σk2(yj−μk)2]}Q(\theta,\theta^{(i)})=\sum\limits_{k=1}^K\{n_k\log a_k +\sum\limits_{j=1}^N\hat{\gamma_{jk}}[\log (\frac{1}{\sqrt{2\pi}})-\log \sigma_k-\frac{1}{2\sigma_k^2}(y_j-\mu_k)^2] \}Q(θ,θ(i))=k=1∑K​{nk​logak​+j=1∑N​γjk​^​[log(2π​1​)−logσk​−2σk2​1​(yj​−μk​)2]}
3. EM算法的M，求解极大${\theta }^{(i+1)}=\underset{\theta }{\mathrm{argmax}}Q(\theta ,{\theta }^{(i)})$
   对参数求导等于0得
   $${\hat{\mu }}_k=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}{y}_j}{\sum _{j=1}^N{\hat{\gamma }}_{jk}},k=1,2,...,K$$
   $${\hat{\sigma }}_k^2=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}(y_j-{\mu }_k)}{\sum _{j=1}^N{\hat{\gamma }}_{jk}},k=1,2,...,K$$
   $${\hat{a}}_k\frac{n_k}{N}=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}}{N},k=1,2,...,K$$

算法
输入：观测数据$y_1,y_2,...,y_N$,高斯混合模型
输出：高斯混合模型参数
$(1)$取参数得初始值开始迭代
$(2)$E步：依据当前模型参数，计算分模型得响应度
$${\hat{\gamma }}_{jk}=\frac{a_k\varphi (y_i|{\theta }_k)}{\sum _{k=1}^K{a}_k\varphi (y_i|{\theta }_k)}$$
$(3)$M步：
$${\hat{\mu }}_k=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}{y}_j}{\sum _{j=1}^N{\hat{\gamma }}_{jk}},k=1,2,...,K$$
$${\hat{\sigma }}_k^2=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}(y_j-{\mu }_k)}{\sum _{j=1}^N{\hat{\gamma }}_{jk}},k=1,2,...,K$$
$${\hat{a}}_k\frac{n_k}{N}=\frac{\sum _{j=1}^N{\hat{\gamma }}_{jk}}{N},k=1,2,...,K$$
$(4)$重复第$(2)$和第$(3)$步直到收敛

EM算法的推广

F函数的极大-极大算法

• 定义假设隐变量数据$Z$的概率分布为$\hat{P}(Z)$，定义分布$\hat{P}$与参数$\theta$的函数$F(\hat{P},\theta )$如下：
  $$F(\hat{P},\theta )=E_{\hat{P}}[\log P(Y,Z|\theta )]+H(\hat{P})$$
  称为$F$函数，其中$H(\hat{P})=-E_{\hat{P}\log \hat{P}(Z)}$是分布$\hat{P}(Z)$的熵
     对于固定的$\theta$存在唯一的分布${\hat{P}}_{\theta }$极大化$F(\hat{P},\theta )$，这时${\hat{P}}_{\theta }由下式给出$
  $${\hat{P}}_{\theta }(Z)=P(Z|Y,\theta )$$并且${\hat{P}}_{\theta }$随$\theta$连续变化
  证明
  拉格朗日函数为
  $$L=E_{\hat{P}}\log P(Y,Z|\theta )-E_{\hat{P}}\log \hat{P}(Z)+\lambda (1-\sum _Z\hat{P}(Z))$$
  $$\frac{\partial L}{\partial \hat{P}(Z)}=\log P(Y,Z|\theta )-\log \hat{P}(Z)-1-\lambda =0$$
  得
  $$\lambda =\log P(Y,Z|\theta )-\log {\hat{P}}_{\theta }(Z)-1$$
  最终
  $${\hat{P}}_{\theta }(Z)=P(Z|Y,\theta )$$
     设$L(\theta )=\log P(Y|\theta )$ 为观测数据得似然函数，${\theta }^{(i)}$为$EM$算法得到得参数估计，如果$F(\hat{P},\theta )$在${\theta }^{\ast }$由局部极大\最大，则在$L$上也是局部极大\最大

   EM算法得一次迭代可由$F$函数得极大-极大算法实现
$(1)$对于固定得${\theta }^{(i)}$，求${\hat{P}}^{(i+1)}$使$F(\hat{P},{\theta }^{(i)})$极大
$(2)$对于固定${\hat{P}}^{(i+1)}$求${\theta }^{(i+1)}$使$F({\hat{P}}^{(i+1),\theta })$极大化

GEM算法

算法1
输入：观测数据，$F$函数
输出：模型参数
$(1)$初始化参数${\theta }^{(0)}$, 开始迭代
$(2)$固定$\theta$最大化$P$
$(3)$得到$P$后优化$\theta$
$(4)$重复$(2),(3)$
算法2
输入：观测数据，$Q$函数
输出：模型参数
$(1)$初始化参数${\theta }^{(0)}$, 开始迭代
$(2)$
$$Q(\theta ,{\theta }^{(i)})=E_Z[\log P(Y,Z|\theta )|Y,{\theta }^{(i)}]$$
$$=\sum _{Z}P(Z|Y,{\theta }^{(i)})\log P(Y,Z|\theta )$$
$(3)$求${\theta }^{(i+1)}$
$$Q({\theta }^{(i+1)},{\theta }^{(i)})>Q({\theta }^{(i)},{\theta }^{(i)})$$
$(4)$重复$(2),(3)$
算法3
输入：观测数据，$Q$函数
输出：模型参数
$(1)$初始化参数${\theta }^{(0)}$, 开始迭代
$(2)$
$$Q(\theta ,{\theta }^{(i)})=E_Z[\log P(Y,Z|\theta )|Y,{\theta }^{(i)}]$$
$$=\sum _{Z}P(Z|Y,{\theta }^{(i)})\log P(Y,Z|\theta )$$
$(3)$求${\theta }^{(i+1)},d$次，求依次优化${\theta }_i$，固定其他不变
$$Q({\theta }^{(i+1)},{\theta }^{(i)})>Q({\theta }^{(i)},{\theta }^{(i)})$$
$(4)$重复$(2),(3)$