EM算法解决GMM问题

Note:本篇博文1,2部分主要是对书籍Pattern Recognition and Mechine Learning 第九章9.2节的翻译

高斯混合模型

高斯混合模型是几个高斯成分的简单线性叠加，可以提供比单高斯更加丰富的密度模型。
高斯模型的形式：

这就表示此模型是由K个高斯分布线性叠加而成。

高斯混合模型公式的推导

引入一个K维的二进制随机变量z，其中只有一个元素$z_k$为1，其他元素都为0。因此$z_k$的值满足$z_k\in{0,1}$并且$\sum_k z_k=1$。通过哪个元素不为0，可以看出向量z有K种可能的状态。

$$p(z_k=1)=\pi_k$$
πk