混合高斯模型：Gaussian Mixture Model

GMM

---

定义

(混合高斯模型) 高斯混合模型的概率分布模型形如：
$$P(y\mid \theta )=\sum _{i=1}^K{\alpha }_k\varphi (y\mid {\theta }_k)$$
其中，${\alpha }_k$为系数，且${\alpha }_k\ge 0$ ,${\sum }_{i=1}^K{\alpha }_k=1$ ;$\varphi (y\mid {\theta }_k)$是第$k$个高斯分布密度分模型，${\theta }_k=({\mu }_k,{\sigma }_k^2)$。
$$\varphi (y\mid {\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)$$

---

模型参数估计—EM求解

假设观测数据$y_1,y_2,\cdots ,y_n$由高斯混合模型生成，即$P(y\mid \theta )={\sum }_{i=1}^K{\alpha }_k\varphi (y\mid {\theta }_k)$，其中的参数$\theta =({\alpha }_1,\cdots ,{\alpha }_k;{\theta }_1,\cdots ,{\theta }_k)$

1、确定隐含变量，写出完全数据的对数似然函数
在混合高斯模型中存在多个分模型，观测变量的观测值并不知道是由哪一个模型生成的，因此可以假设隐变量${\gamma }_{jk}$，其定义为：
$${\gamma }_{jk}=\{\begin{array}{c}1,第i个观测值由第k个分模型产生\\ 0,otherwise\end{array}$$
由此，完全数据为$(y_j,{\gamma }_{j1},\cdots ,{\gamma }_{jK})$，可以得到完全数据的似然函数：
$$\begin{array}{rl}P(y,\gamma \mid \theta )& =L(\theta )\\ & =\prod _{j=1}^{n}P(y_1,{\gamma }_{j1},\cdots ,{\gamma }_{jK}\mid \theta )\\ & =\prod _{j=1}^n({\gamma }_{jk}\sum _{i=1}^K{\alpha }_k\varphi (y_j\mid {\theta }_k))\\ & =\prod _{j=1}^n\left(\prod _{i=1}^K{\left({\alpha }_k\varphi (y_j\mid {\theta }_k)\right)}^{{\gamma }_{jk}}\right)\\ & =\prod _{j=1}^n\prod _{i=1}^K{\left({\alpha }_k\varphi (y_j\mid {\theta }_k)\right)}^{{\gamma }_{jk}}\\ & =\prod _{j=1}^n\prod _{i=1}^K{\left({\alpha }_k\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right)}^{{\gamma }_{jk}}\end{array}$$
那么完全数据的对数似然函数为：
$$\begin{array}{rl}\log P(y,\gamma \mid \theta )& =\ell (\theta )\\ & =\sum _{i=1}^K\sum _{j=1}^n\log {\left({\alpha }_k\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right)}^{{\gamma }_{jk}}\\ & =\sum _{i=1}^K\sum _{j=1}^n{\gamma }_{jk}\log \left({\alpha }_k\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right)\\ & =\sum _{i=1}^K\sum _{j=1}^n{\gamma }_{jk}\log {\alpha }_k+\sum _{i=1}^K\sum _{j=1}^n{\gamma }_{jk}\log \left(\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right)\\ & =\sum _{i=1}^K\log {\alpha }_k\sum _{j=1}^n{\gamma }_{jk}+\sum _{i=1}^K\sum _{j=1}^n{\gamma }_{jk}\log \left(\frac{1}{\sqrt{2\pi }{\sigma }_k}\exp \left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right)\\ & =\sum _{i=1}^K\log {\alpha }_k\sum _{j=1}^n{\gamma }_{jk}+\sum _{i=1}^K\sum _{j=1}^n{\gamma }_{jk}\left[\log \frac{1}{\sqrt{2\pi }}-\log {\sigma }_k+\left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right]\end{array}$$

2、E步：确定Q函数
$$\begin{array}{rl}Q(\theta ,{\theta }^{(i)})& =E[\log P(y,\gamma \mid \theta )\mid y,{\theta }^{(i)}]\\ & =E\left\{\sum _{i=1}^K\log {\alpha }_k\sum _{j=1}^n{\gamma }_{jk}+\sum _{i=1}^K\sum _{j=1}^n{\gamma }_{jk}\left[\log \frac{1}{\sqrt{2\pi }}-\log {\sigma }_k+\left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right]\right\}\\ & =\sum _{i=1}^K\left\{\log {\alpha }_k\sum _{j=1}^{n}E{\gamma }_{jk}+\sum _{j=1}^{n}E{\gamma }_{jk}\left[\log \frac{1}{\sqrt{2\pi }}-\log {\sigma }_k+\left(-\frac{(y_j-{\mu }_k{)}^2}{2{\sigma }_k^2}\right)\right]\right\}\end{array}$$
记${\hat{\gamma }}_{jk}=E({\gamma }_{jk}\mid y,\theta )$则：
$$\begin{array}{rl}{\hat{\gamma }}_{jk}& =1\cdot P({\gamma }_{jk}=1\mid y,\theta )+0\cdot P({\gamma }_{jk}=0\mid y,\theta )\\ & =\frac{P({\gamma }_{jk}=1,y_j\mid \theta )}{1}\\ & =\frac{P({\gamma }_{jk}=1,y_j\mid \theta )}{{\sum }_{k=1}^{K}P({\gamma }_{jk}=1,y_j\mid \theta )}\\ & =\frac{P(y_j\mid {\gamma }_{jk}=1,\theta )P({\gamma }_{jk}=1\mid \theta )}{{\sum }_{k=1}^{K}P(y_j\mid {\gamma }_{jk}=1,\theta )P({\gamma }_{jk}=1\mid \theta )}\\ & =\frac{{\alpha }_k\varphi (y_j\mid {\theta }_k)}{{\sum }_{k=1}^K{\alpha }_k\varphi (y_j\mid {\theta }_k)}\end{array}$$
${\hat{\gamma }}_{jk}$是在当前模型下第$j$个观测数据来自第$k$个分模型的概率，成为分模型$k$对观测数据$y_j$的响应度。

3、M步
迭代中的M步是求函数$Q(\theta ,{\theta }^{(i)})$对$\theta$的极大值，即：
$${\theta }^{(i+1)}=\arg \underset{\theta }{\max }Q(\theta ,{\theta }^{(i)})$$
依据$Q$函数对各个参数(${\mu }_k,{\sigma }_k^2,{\alpha }_k$)求偏导并置其为0得到新的参数为：
$$\begin{array}{rl}{\hat{\mu }}_k& =\frac{{\sum }_{j=1}^n{\hat{\gamma }}_{jk}{y}_j}{{\sum }_{j=1}^n{\hat{\gamma }}_{jk}}\\ {\hat{\sigma }}_k^2& =\frac{{\sum }_{j=1}^n{\hat{\gamma }}_{jk}(y_j-{\mu }_k{)}^2}{{\sum }_{j=1}^n{\hat{\gamma }}_{jk}}\\ {\hat{\alpha }}_k& =\frac{{\sum }_{j=1}^n{\hat{\gamma }}_{jk}}{n}\end{array}$$

4、重复迭代，直到参数收敛即可。

算法流程
输入：观测数据$Y$，高斯混合模型；
输出：高斯混合模型参数
(1)为参数赋予初值；
(2)E步，计算分模型对观测数据的响应度；
(3)M步，计算新一轮的迭代模型参数；
(4)重复(2)(3)步，直到模型参数收敛。

---

推广

EM算法可以解释为F函数的极大-极大算法，可以推广为广义期望极大算法（GEM）。

---

Reference：

[1]李航：《统计学习方法》