高斯混合模型（GMM）

1. 前言

高斯混合模型是使用高斯分布对原始数据进行估计，其中高斯函数的均值$\mu$和方差$\sigma$以及各个高斯函数分量占的比例$\alpha$这些参数是未知的。对于它们的求解是通过EM算法实现的。
高斯混合模型可以表述为如下的概率分布模型：
$$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (y|{\theta }_k)$$
其中，${\alpha }_k$是系数，${\alpha }_k\ge 0$，${\sum }_{k=1}^K{\alpha }_k=1$；$\varphi (y|{\theta }_k)$是高斯分布密度，${\theta }_k=({\mu }_k,{\sigma }_k^2)$
$$\varphi (y|{\theta }_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k}exp(-\frac{(y-{\mu }_k{)}^2}{2{\sigma }_k^2})$$
称为第K个分模型。

2. 推导

2.1 确定隐藏参数

假设观测数据$y_1,y_2,\dots ,y_N$是由高斯混合模型生成
$$P(y|\theta )=\sum _{k=1}^K{\alpha }_k\varphi (y|{\theta }_k)$$
其中，参数$\theta =({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_k;{\theta }_1,{\theta }_2,\dots ,{\theta }_k)$。是高斯混合模型中直观需要求解的未知变量。但是高斯混合模型中就只有这两类变量是未知的么？
对于观测数据$y_j$，$j=1,2,\dots ,N$，是这样产生的：首先依据概率${\alpha }_k$选择第$k$个高斯分布模型$\varphi (y|{\theta }_k)$；然后依据第$k$个分模型的概率分布$\varphi (y|{\theta }_k)$生成观测数据$y_j$。这个时候观测数据$y_j$，$j=1,$