GMM

GMM

0x00. 简介

高斯混合模型是具有如下形式的概率分布模型：

$$P(y|\theta) = \sum^K_{k=1} \alpha_k\phi(y|\theta_k)$$
其中$\alpha_k$是系数，$\alpha_k\geq0$并且$\sum\limits^K_{k=1}\alpha_k=1$，$\phi(y|\theta_k)$是高斯分布密度，$\theta_k=(\mu_k, \sigma^2_k)$，由K个分模型构成

---

0x01. 高斯混合模型参数估计的EM算法

我们的目的是用EM算法估计高斯混合模型的参数$\theta$, 其中$\theta=(\alpha_1, \alpha_2,...,\alpha_k; \theta_1, \theta_2,...,\theta_k)$

a). 明确隐变量，写出complete data的对数似然函数

设想观测数据是这样产生的：首先依据概率选择高斯分布分模型，然后依据该分模型的参数生成观测数据。其中生成的数据是可以被观测到的，但是该数据来自哪一个分模型的信息是未知的。

我们定义隐变量：

$$\gamma_{jk}=\begin{cases}1, &第j个观测数据来自第k个分模型\\0, &otherwise\end{cases}\\ j=1,2,...,N;\ k=1,2,..,K$$

对于一个观测数据$y_i$，我们的完全数据是

$$(y_j,\gamma_j1,\gamma_j2,...,\gamma_jK), j=1,2,...,N$$ 我们便可以得到完全数据的似然函数

b). E步：确定Q函数

Q函数的含义：完全数据的对数似然函数的期望。关于未观测数据Z的条件概率分布的期望。也就是说，Z的取值有很多种，我们先确定下来Z，然后再根据Z和当次迭代的$\theta$的值算出来Z和Y（观测数据）的期望，目的是在下一步最大化这个期望。

c). M步：最大化Q
对于得到的Q函数，我们求其对于$\theta$的最大值，即求新一轮迭代的模型参数：

$$\theta^{(i+1)}=\arg \max \limits_{\theta}Q(\theta, \theta^{(i)})$$
对于我们要求的三组参数，我们直接对其求偏导或者求其在约束条件下的偏导即可。在这个过程中，Q函数的表达式可能不会被显式计算。

---

0x02. 总结