统计学习方法（九）：EM算法

• 非监督学习、生成模型
• EM算法应用场景：含有隐变量的参数估计问题
• EM解析（以高斯分布为例）：
  • 假设有一批数据x。
  • x可能满足多种不同的模型，这些模型的分布服从高斯分布的概率密度函数形式（高斯混合模型）。这时，问题中就包含了三个变量：取到某种模型的概率w，以及在该高斯分布下的参数μ和$\sigma$。我们最终求的是最好的模型的参数μ和$\sigma$，所以取到某种模型的概率w就相当于是隐变量。
  • 若根据极大似然估计方法，该问题求解可以描述为：
    • 设有x个数据，表示为：$x_i$，i从1到N。
    • 设高斯分布的概率密度函数为$f(\mu ,\sigma )$ ，有j个类型的模型，他们概率表示为$f({\mu }_j,{\sigma }_j)$,且每个取到的的概率为$w_j$
    • 那么对每一个数据x而言，其总的概率就可以表示为：
      $$\sum _{j=1}^K{W}_j{f}_j\left(x_i\right)$$
    • 那么所有的数据满足模型的概率就为(该式也就是极大似然估计)：
      $$\max \prod _{i=1}^n\left[\sum _{j=1}^k{w}_j{f}_j\left(x_i\right)\right]$$
    • 转换为极大似然估计的log形式就为：
      $$\max \sum _{i=1}^n\log \left(\sum _{j=1}^k{w}_j{f}_j\left(x_i\right)\right)$$
  • 对于上式来说，依旧很难求解，所以EM算法采用了迭代的方式来做。
  • 首先初始化该问题中的三个参数：${\mu }_0,{\sigma }_0,w_0$
  • 然后求解$w_j$（每一个模型的分布系数），i指代某个x:
    $$W_1=\frac{{\sum }_{i=1}^n{W}_{i1}}{n}$$
  • 再求解${\mu }_1$:
    $${\mu }_1=\frac{{\sum }_{i=1}^n{w}_{i1}{x}_i}{{\sum }_{i=1}^n{w}_{i1}}$$
  • 再求解${\sigma }_1$:
    $${\sigma }_1=\frac{{\sum }_{i=1}^n{\omega }_{i1}\left(x_i-{\mu }_1\right)}{{\sum }_{i=1}^n{w}_{i1}}$$
  • 至此，求出了迭代一次的参数值。
  • 继续迭代，会发现参数趋于收敛，这时停下来，完成EM算法。
• 一般性的：EM算法的E步，也就是求期望过程，求的是根据数据和当前参数对隐变量的期望的估计。
  EM算法的M步，是迭代数据和当前参数，求E步期望最大的过程。