机器学习算法（八）：EM算法

最新推荐文章于 2025-06-28 20:02:43 发布

tuqinag

最新推荐文章于 2025-06-28 20:02:43 发布

阅读量2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：机器学习算法文章标签：机器学习数据挖掘 EM算法

本文链接：https://blog.youkuaiyun.com/tuqinag/article/details/47683321

机器学习算法专栏收录该内容

12 篇文章

订阅专栏

本文深入探讨了EM算法的原理及其在高斯混合聚类、PLSA算法等场景的应用。从极大似然估计出发，阐述了EM算法的迭代过程，包括E步和M步，并以高斯混合聚类为例展示了算法的具体实现。此外，文章还简要介绍了EM算法在自然语言处理中的应用，如PLSA算法，并详细解释了其E步和M步的计算过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

EM(Expectation Maximization)算法

概率模型有时既含有观测变量，又含有隐变量或潜在变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数。但是，当模型含有隐变量时，就不能简单地使用这些估计方法。EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。

一般地，用Y表示观测随机变量的数据，Z表示隐随机变量的数据， $\theta$ 表示模型参数。EM算法是一种迭代算法，每次迭代有两部分组成：E步，若参数 $\theta$ 已知，则可根据训练数据推断出隐变量Z的值；M步，若Z的值已知，则可方便地对参数 $\theta$ 做极大似然估计。

事实上，隐变量估计问题也可通过梯度下降等优化算法求解，但由于求和的项数将随着隐变量的数目以指数级上升，会给梯度计算带来麻烦。而EM算法则可看做一种非梯度优化的方法。

极大似然估计(Maximum Likelihood Method)

极大似然估计是用于估计概率模型中参数的最常用的方法。令 $X_1,...,X_n$ 是概率密度函数 $f(x;\theta)$ 一组相互独立的随机变量，则似然函数被定义为

L n (θ) = \prod i = 1 n f (X i; θ)

$L_n(\theta) = \prod_{i=1}^n f(X_i;\theta)$

对数似然函数被定义为 $l_n(\theta) = log L_n(\theta)$

似然函数实际上是数据的联合密度，只不过我们将其视为参数的函数。事实上它并不是密度函数，以为它的积分不为1。

$\hat\theta_{n}$ 被定义为极大似然估计量，是极大化 $L_n(\theta)$ 之后 $\theta$ 的值。注意到，极大化 $l_n(\theta)$ 与极大化 $L_n(\theta)$ 的效果是一样的，通常前者的计算会更为简单一些。而且在计算时，通常会忽略掉常数值。

在模型的一些特定条件下，极大似然估计量有一些非常好的特性：

(1) 极大似然估计量依概率收敛于所估计参数的真实值，即 $\hat\theta_{n} \xrightarrow{P} \theta_{*}$ ；

(2) 如果 $\hat\theta_{n}$ 是 $\theta$ 的极大似然估计量，那么 $g(\hat\theta_{n})$ 是 $g(\theta)$ 的极大似然估计量；

(3) $(\hat\theta - \theta_{*})/\widehat se \rightarrow N(0,1)$ ，其中 $\widehat se$ 为标准差的估计值；

(4) 在所有估计量中，极大似然估计量是具有最小方差的。

在实际问题中，模型可能非常的复杂，极大似然估计可能并不是最优的，以上的四个性质有可能也不成立。例如，概率密度函数不是平滑的情况。

EM算法

输入：观测变量数据Y，隐变量数据Z，联合分布 $P(Y,Z|\theta)$ ，条件分布 $P(Z|Y,\theta)$ ；

输出：模型参数 $\theta$ 。

(1) 选择参数的初值 $\theta^{(0)}$ ，开始迭代；

(2) E步：根据参数初始值或上一次迭代的模型参数来计算隐变量的后验概率，其实就是隐变量的期望，作为隐变量的现估计值：

Q i (z (i)) = P (z (i) | x (i); θ)

$Q_i(z^{(i)}) = P(z^{(i)} | x^{(i)} ; \theta)$

(3) M步：将似然函数最大化获得新的参数值：

θ (i + 1) = a r g m a x θ \sum i \sum z (i) Q i (z (i)) l o g p ( x ( i ) , z ( i ) ; θ ) Q i ( z ( i ) )

$\theta^{(i+1)} = argmax_{\theta} \sum_i \sum_{z^{(i)}} Q_i(z^{(i)}) log \frac{p(x^{(i)}, z^{(i)};\theta)}{Q_i(z^{(i)})}$

(4) 重复第(2)步和第(3)步，直到收敛。

下面关于EM算法作几点说明：

步骤(1) 参数的初值可以任意选择，但需要注意EM算法对初值是敏感的。

步骤(4) 给出停止迭代的条件，一般是选择较小的正数 $\epsilon_1$ ，若满足

| | θ (i + 1) - θ (i) | | < ϵ 1

$||\theta^{(i+1)}-\theta^{(i)}|| < \epsilon_1$

则停止迭代。

高斯混合聚类

这个算法在我之前关于聚类算法的博客中提到过，但是只是简单地介绍了下，因为它的求解会用到EM算法，所以我将它放在这里，作为EM算法的一个例子吧。

对n维样本空间X中的随机变量x，若x服从高斯分布，其概率密度函数为：

p (x) = 1 ( 2 π ) n 2 | Σ | 1 2 exp - 1 2 (x - μ) T Σ - 1 (x - μ)

$p(x) = \frac{1}{(2 \pi)^{\frac{n}{2}} |\Sigma|^{\frac{1}{2}}} \exp^{-\frac{1}{2} (x - \mu)^T \Sigma^{-1} (x - \mu)}$

其中 $\mu$ 为n维均值向量， $\Sigma$ 是 $n \times n$ 的协方差矩阵，将概率密度函数记为 $p(x | \mu, \Sigma)$ 。

定义高斯混合分布：

P M (x) = \sum i = 1 k α i \cdot p (x | μ i, Σ i)

$P_M(x) = \sum_{i = 1}^k \alpha_i \cdot p(x | \mu_i, \Sigma_i)$

该分布共由k个混合成分组成，每个混合成分对应一个高斯分布。其中 $\mu_i$ 与 $\Sigma_i$ 是第i个高斯混合成分的参数，而 $\alpha_i > 0$ 为对应的混合系数， $\sum_{i = 1}^k \alpha_i = 1$ 。

假设样本的生成过程由高斯混合分布给出：首先，根据 $\alpha_1, \alpha_2, ..., \alpha_k$ 定义的先验分布选择高斯混合成分，其中 $\alpha_i$ 为选择第i个混合成分的概率；然后根据被选择的混合成分的概率密度函数进行采样，从而生成对应的样本。

令随机变量 $z_j \in \{1, 2, ..., k\}$ 表示生成样本 $x_j$ 的混合高斯分布，其取值未知，该变量就是整个问题的隐变量。显然， $z_j$ 的先验概率 $P(z_j = i)$ 对应于 $\alpha_i (i = 1, 2, ..., k)$ 。根据贝叶斯定理， $z_j$ 的后验分布对应于

p M (z j = i | x j) = P ( z j = i ) \cdot p M ( x j | z j = i ) p M ( x j ) = α i \cdot p ( x j | μ i , Σ i ) \sum k l = 1 α l \cdot p ( x j | μ l , Σ l )

$p_M(z_j = i|x_j) = \frac{P(z_j = i) \cdot p_M(x_j | z_j = i)}{p_M(x_j)} = \frac{\alpha_i \cdot p(x_j | \mu_i, \Sigma_i)}{\sum_{l = 1}^k \alpha_l \cdot p(x_j | \mu_l, \Sigma_l)}$

$p_M(z_j = i | x_j)$ 给出了样本 $x_j$ 由第i个高斯混合分布生成的后验概率，将其简记为 $\gamma_{ji}$ (i = 1, 2, …, k)。

当高斯混合分布已知时，高斯混合聚类将把样本集D划分为k个簇 $C = \{C_1, C_2, ... , C_k\}$ ，每个样本 $x_j$ 的簇标记 $\lambda_j$ 如下确定：

λ j = a r g m a x i \in {1, 2, . . ., k} γ j i

$\lambda_j = argmax_{i \in \{1, 2, ..., k\}} \gamma_{ji}$

从原型聚类的角度看，高斯混合聚类是采用概率模型（高斯分布）对原型进行刻画，簇划分由原型对应后验概率确定。这就是EM算法中的E-step。

对于样本集D，可以采用极大似然估计，即最大化似然

L L (D) = l n (\prod j = 1 m p M (x j)) = \sum j = 1 m l n (\sum i = 1 k α i \cdot p (x j | μ i, Σ i))

$LL(D) = ln(\prod_{j = 1}^m p_M(x_j)) = \sum_{j = 1}^m ln(\sum_{i = 1}^k \alpha_i \cdot p(x_j | \mu_i, \Sigma_i))$

采用EM算法1进行迭代优化求解。若参数 $\{(\alpha_i, \mu_i, \Sigma_i) | 1 \leq i \leq k\}$ 能使上式最大化，则由 $\frac{\partial LL(D)}{\partial \mu_i} = 0$ 有

\sum j = 1 m α i \cdot p ( x j | μ i , Σ i ) \sum k l = 1 α l \cdot p ( x j | μ l , Σ l ) (x j - μ i) = 0

$\sum_{j = 1}^m \frac{\alpha_i \cdot p(x_j | \mu_i, \Sigma_i)}{\sum_{l = 1}^k \alpha_l \cdot p(x_j | \mu_l, \Sigma_l)} (x_j - \mu_i) = 0$

即

μ i = \sum m j = 1 γ j i x j \sum m j = 1 γ j i

$\mu_i = \frac{\sum_{j = 1}^m \gamma_{ji} x_j}{\sum_{j = 1}^m \gamma_{ji}}$

类似的，由 $\frac{\partial LL(D)}{\partial \Sigma_i} = 0$ 可得

Σ i = \sum m j = 1 γ j i ( x j - μ i ) ( x j - μ i ) T \sum m j = 1 γ j i

$\Sigma_i = \frac{\sum_{j = 1}^m \gamma_{ji} (x_j - \mu_i)(x_j - \mu_i)^T}{\sum_{j = 1}^m \gamma_{ji}}$

对于混合系数 $\alpha_i$ ，除了要最大化LL(D)，还需要满足 $\alpha \geq 0, \sum_{i = 1}^k \alpha_i = 1$ ，考虑LL(D)的拉格朗日形式

L L (D) + λ (\sum i = 1 k α i - 1)

$LL(D) + \lambda(\sum_{i = 1}^k \alpha_i - 1)$

其中 $\lambda$ 为拉格朗日乘子，由上式对 $\alpha_i$ 的导数为0，有

\sum j = 1 m p ( x j | μ i , Σ i ) \sum k l = 1 α l \cdot p ( x j | μ l , Σ l ) + λ = 0

$\sum_{j = 1}^m \frac{p(x_j | \mu_i, \Sigma_i)}{\sum_{l = 1}^k \alpha_l \cdot p(x_j | \mu_l, \Sigma_l)} + \lambda = 0$

两边同时乘以 $\alpha_i$ ，对所有k求和可知

\sum j = 1 m \sum i = 1 k γ j i + λ \sum i = 1 k α i = 0

$\sum_{j = 1}^m \sum_{i = 1}^k \gamma_{ji} + \lambda \sum_{i = 1}^k \alpha_i = 0$

故 $\lambda = -m$ ，则有

α i = 1 m \sum j = 1 m γ j i

$\alpha_i = \frac{1}{m} \sum_{j = 1}^m \gamma_{ji}$

即每个高斯成分的混合系数由样本属于该成分的平均后验概率确定。

PLSA算法

在腾讯实习生招聘的时候，面试官问了这样一个问题：对于两种不同的语言，给了你一些单词的翻译对，如何利用EM算法来做一个翻译系统。因为当时对自然语言处理并不了解，这个问题就没有答上来。其实这个问题与PLSA算法解决的问题很像，只要将生成单词的过程转变为翻译的过程即可。如果不懂PLSA算法的，可以翻一翻我关于自然语言处理的博客。PLSA算法参数的求解也是利用的EM算法，所以也把它作为一个例子放在这里。

E-step：直接使用贝叶斯公式计算隐含变量在当前参数取值下的后验概率。