Chapter 09 Mixture Models and EM

Chapter 09 Mixture Models and EM

---

本章《PRML》主要介绍的概念是期望最大化算法(Expectation Maximization Algorithm, EM)，该方法主要用于含有隐变量(latent variable)的概率模型参数的极大似然估计。混合高斯模型即是利用EM算法进行的计算。

EM

---

a. Expectation Maximization Algorithm

一般地，如果概率模型的变量都是观测变量(observable variable)，无隐变量，那么可以直接使用极大似然估计或者贝叶斯估计，解析地求得模型的参数。但是，当含有隐变量时，以上方法就得不到解析解了，就只能够得到模型参数关于隐变量的一个函数。

通常来说，对于观测数据$X$，参数$\theta$，我们希望通过最大化对数似然函数$logp(X|\theta )$得到参数$\theta$的估计，当有隐变量$Z$时，我们希望能够最大化$logp(X,Z|\theta )$。一般地，对于含隐变量的情况，我们定义$X$为观测随机变量数据，$Z$表示隐随机变量数据，

• 完全数据(complete-data)：$Y$和$Z$在一起；
• 不完全数据(incomplete-data)：只有观测数据$Y$。

EM算法求解$L(\theta )=logp(X,Z|\theta )$主要分为两步，E步，求期望；M步，求极大化。其具体形式如下，

• 输入：观测变量$X$，隐变量$Z$，联合分布$p(X,Z|\theta )$，条件分布$p(Z|X,\theta )$；
• 输出：模型参数$\theta$；
• 步骤：
  • 选择参数的初值${\theta }^{(0)}$，开始迭代；
  • E步：记${\theta }^{(i)}$为第$i$次迭代参数$\theta$的估计值，在第$i+1$次迭代的$E$步，计算
    $$\begin{array}{rl}\mathcal{Q}(\theta ,{\theta }^{(i)})& =E_Z[logp(X,Z|\theta )|X,{\theta }^{(i)}]\\ & =\end{array}$$