统计学习方法9- EM算法

• 非监督学习、生成模型

• EM算法应用场景：含有隐变量的参数估计问题

• EM解析（以高斯分布为例）：
  - 假设有一批数据x。
  - x可能满足多种不同的模型，这些模型的分布服从高斯分布的概率密度函数形式（高斯混合模型）。这时，问题中就包含了三个变量：取到某种模型的概率w，以及在该高斯分布下的参数μ和σ \sigmaσ。我们最终求的是最好的模型的参数μ和σ \sigmaσ，所以取到某种模型的概率w就相当于是隐变量。
  - 若根据极大似然估计方法，该问题求解可以描述为：

• 一般性的：EM算法的E步，也就是求期望过程，求的是根据数据和当前参数对隐变量的期望的估计。
  EM算法的M步，是迭代数据和当前参数，求E步期望最大的过程。

参考：
https://blog.youkuaiyun.com/Smile_mingm/article/details/108562277?spm=1001.2014.3001.5501