(斯坦福机器学习课程笔记)混合高斯模型，朴素贝叶斯，混合朴素贝叶斯模型，因子分析

==============================混合高斯模型==========================
混合高斯模型是一个无监督的聚类算法，他认为各个类别的样本都分别服从高斯分布。因此隐变量依然为$z_i^j$，模型的参数有$\mu$,$\phi$,$\sigma$，其中$\sigma$是协方差矩阵。
那么引入EM算法，得到
E步骤：

$$Q_i(z_i^j)=P(z_i^j\ |\ x_i;\phi,\sigma,\mu)=\frac{P(x_i\ |\ z_i^j;\mu,\sigma)P(z_i^j;\phi)}{\sum_{j=1}^kP(x_i\ |\ z_i^j;\mu,\sigma)P(z_i^j;\phi)}$$

M步骤：

argmaxϕ,μ,σ∑i=1m∑j=1kQi(zji)logP(xi,zji;ϕ,μ,σ)Qi