EM算法原理解释及公式推导

最新推荐文章于 2025-09-08 10:15:41 发布
原创 最新推荐文章于 2025-09-08 10:15:41 发布 · 6.5k 阅读 · 70 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文深入解析EM算法，探讨其在处理带有隐含变量的数据集时的极大似然估计应用，通过案例详细阐述算法流程及推导过程。

本文参考的是 人人都懂EM算法 - August的文章 - 知乎 这篇文章

目录

一、极大似然概述

二、EM算法

2.1 EM算法描述

2.2 EM公式推导

三、EM算法案例 

一、极大似然概述

假设我们需要调查我们学校学生的身高分布。我们先假设学校所有学生的身高服从正态分布 N(\mu,\sigma^2) 。(注意：极大似然估计的前提一定是要假设数据总体的分布，如果不知道数据分布，是无法使用极大似然估计的)，这个分布的均值 \mu 和方差 \sigma^2 未知，如果我们估计出这两个参数，那我们就得到了最终的结果。那么怎样估计这两个参数呢？

学校的学生这么多，我们不可能挨个统计吧？这时候我们需要用到概率统计的思想，也就是抽样，根据样本估算总体。假设我们随机抽到了 200 个人（也就是 200 个身高的样本数据，为了方便表示，下面“人”的意思就是对应的身高）。然后统计抽样这 200 个人的身高。根据这 200 个人的身高估计均值 \mu 和方差 \sigma^2 。

用数学的语言来说就是：为了统计学校学生的身高分布，我们独立地按照概率密度 p(x|\theta) 抽取了 200 个（身高），组成样本集 X=x_1,x_2,...,x_N(其中 x_i 表示抽到的第 i 个人的身高，这里 N 就是 200，表示样本个数)，我们想通过样本集 X 来估计出总体的未知参数 \theta 。这里概率密度 p(x|\theta) 服从高斯分布 N(\mu,\sigma^2) ，其中的未知参数是 \theta 。

那么问题来了怎样估算参数 \theta 呢？

问题一：抽到这 200 个人的概率是多少呢？

由于每个样本都是独立地从 p(x|\theta) 中抽取的，换句话说这 200 个学生随便捉的，他们之间是没有关系的，即他们之间是相互独立的。假如抽到学生 A（的身高）的概率是 p(x_A|\theta)，抽到学生B的概率是 p(x_B|\theta) ，那么同时抽到男生 A 和男生 B 的概率是p(x_A|\theta) * p(x_B|\theta)，同理，我同时抽到这 200 个学生的概率就是他们各自概率的乘积了，即为他们的联合概率，用下式表示：

n 为抽取的样本的个数，本例中 n=200 ，这个概率反映了，在概率密度函数的参数是 \theta 时，得到 X 这组样本的概率。上式中等式右侧只有 \theta 是未知数，所以 L 是 \theta 的函数。

这个函数反映的是在不同的参数 \theta 取值下，取得当前这个样本集的可能性，因此称为参数 \theta 相对于样本集 X 的似然函数（likelihood function），记为 L(\theta) 。

对 L 取对数，将其变成连加的，称为对数似然函数，如下式：

Q：这里为什么要取对数？

  • 取对数之后累积变为累和，求导更加方便
  • 概率累积会出现数值非常小的情况，比如1e-30，由于计算机的精度是有限的，无法识别这一类数据，取对数之后，更易于计算机的识别(1e-30以10为底取对数后便得到-30)。

问题二：学校那么多学生，为什么就恰好抽到了这 200 个人 ( 身高) 呢？

在学校那么学生中，我一抽就抽到这 200 个学生（身高），而不是其他人，那是不是表示在整个学校中，这 200 个人（的身高）出现的概率极大啊，也就是其对应的似然函数 L(\theta) 极大，即

\hat{\theta} 这个叫做 \theta 的极大似然估计量，即为我们所求的值。

问题三：那么怎么极大似然函数？

求 L(\theta)  对所有参数的偏导数，然后让这些偏导数为 0，假设有 n 个参数，就有 n 个方程组成的方程组，那么方程组的解就是似然函数的极值点了，从而得到对应的 \theta 了。

极大似然估计总结

极大似然估计你可以把它看作是一个反推。多数情况下我们是根据已知条件来推算结果，而极大似然估计是已经知道了结果，然后寻求使该结果出现的可能性极大的条件，以此作为估计值。

比如说，

  • 假如一个学校的学生男女比例为 9:1 (条件)，那么你可以推出，你在这个学校里更大可能性遇到的是男生 (结果)；
  • 假如你不知道那女比例，你走在路上，碰到100个人，发现男生就有90个 (结果)，这时候你可以推断这个学校的男女比例更有可能为 9:1 (条件)，这就是极大似然估计。

极大似然估计，只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，通过若干次试验，观察其结果，利用结果推出参数的大概值。

极大似然估计是建立在这样的思想上：已知某个参数能使这个样本出

最低0.47元/天 解锁文章
Apollo自动驾驶平台中em_planner算法的路径与决策规划详解及公式推导 · 优化算法 详解
05-23
内容概要：本文详细介绍了Apollo自动驾驶平台中em_planner算法的工作原理，重点讲解了路径规划和决策规划的具体实现方法以及公式的推导过程。首先阐述了em_planner作为一种基于采样的路径规划算法，它通过随机采样...
自动驾驶领域中Apollo-em Planner算法解析：路径规划与公式推导
04-10
此外，文章还讨论了路径优化过程中涉及的各种公式推导和技术细节，例如路径曲率、与障碍物的安全距离等。 适合人群：对自动驾驶技术感兴趣的开发者、研究人员以及希望深入了解路径规划算法的学生。 使用场景及目标：...
EM算法之高斯混合模型详细推导过程
热门推荐
omadesala的专栏
05-27 1万+
高斯混合模型如果有c个高斯分布，并且这k个个高斯分布的选择都符合多项式分布，那么有下面的公式那么样本x 是一个服从多元高斯分布的随机试验中产生的抽样那么可以写出关于样本值（第i个样本）的概率密度函数,假设一共c个类别那么我们可以定义m个观测样本的对数似然函数对数复合函数求导公式代入上面的值进一步可以写成下面的式子由于对第k个正态分布的均值求偏导，因此除第k个正态分布外，其他分部不包含第k个正态分布...
EM算法公式推导
weixin_44966641的博客
08-18 1053
EM算法公式推导
EM算法原理
最新发布
Grow into a more wonderful you
09-08 1138
EM算法是一种用于含隐变量概率模型参数估计的迭代算法，通过交替执行E步（期望步）和M步（最大化步）来优化模型参数。E步基于当前参数计算隐变量后验分布，并构建完整数据对数似然的期望函数（Q函数）；M步通过最大化Q函数更新参数。该算法保证观测数据似然函数在迭代过程中单调递增，最终收敛到局部最优解。典型应用包括高斯混合模型（GMM）参数估计，其中E步计算样本对各高斯成分的隶属概率（责任），M步更新成分权重、均值和方差。EM算法为解决不完整数据或含未观测变量的参数估计问题提供了有效框架。
EM算法的公式详细推导
luyong8190的博客
04-27 3791
EM算法的推导一   在进行EM算法公式推导之前，为了更好地理解，先来进行知识补充：1：极大似然估计在介绍极大似然估计之前，先来熟悉一下贝叶斯公式：                                  极大似然估计的目的是：利用已知样本结果，反推最有可能（最大概率）导致这样结果的参数值。它提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结...
EM算法推导
小小鸟
11-22 2123
忘了用了几天的时间来学习EM算法、GMM，学习老师的语音识别程序，先看老师的PPT（简单介绍EM算法和GMM，MFCC的步骤），源代码（刚开始看的时候完全不懂），然后在网上搜索了MFCC方法，通过博客和别人的文档学习GMM，EM算法，又去看了PRLM这本书的第九章（关于GMM和EM的），现在感觉还是似懂非懂，主要是推到过程不清楚加上没有程序实现。可能是我的学习方法有问题。可以和同学多交流，向别人请教
EM算法
weixin_34192732的博客
08-05 240
本文试图用最简单的例子、最浅显的方式说明EM（Expectation Maximization）算法的应用场景和使用方法，而略去公式的推导和收敛性的证明。 以下内容翻译自《Data-Intensive Text Processing with MapReduce》。 Maximum Likelihood Estimation Maximum Likelihood Estimation(MLE...
EM算法详细例子及推导
03-31
为了更好地理解EM算法的工作原理，我们通过一个硬币投掷实验的例子来进行详细的分析。假设我们有两个特殊的硬币A和B，它们正面朝上的概率分别为θA和θB。我们的任务是通过一系列实验来估计这两个概率值。 ##### ...
EM算法原理总结
m0_38018799的博客
07-06 1800
参考： https://www.cnblogs.com/pinard/p/6912636.html 《统计学习方法》李航 1 EM算法 EM算法是一种迭代算法，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（expectation）；M步，求极大（maximization）。所以这一算法称为期望极大算法（...
EM算法介绍
10-24 305
在Mitchell的书中也提到EM可以用于贝叶斯网络中。 下面主要介绍EM的整个推导过程。 1. Jensen不等式 回顾优化理论中的一些概念。设f是定义域为实数的函数，如果对于所有的实数x，，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的（），那么f是凸函数。如果或者，那么称f是严格凸函数。 Jensen不等式表述如下： 如果f是凸函数，X是随机变量，那么 ...
EM算法详细推导（最详细版本！）
weixin_41089007的博客
07-24 4645
原文链接：https://blog.youkuaiyun.com/weixin_38206214/article/details/81431932 1.前置知识 极大似然函数和极大似然估计 假设总体的概率函数为 p(x ; θ)， 其中 θ 是一个未知参数或几个未知参数组成的参数向量，属于取值的参数空间。 x1, x2 ... xn是来自该总体的样本，将样本的联合概率函数表示为 θ 的函数： 设 ...
EM算法公式推导 （详细）
小x的博客
05-30 2055
机器学习笔记（十七）——EM算法的推导
chunyun0716的专栏
10-22 3555
一、Jensen 不等式     在EM算法的推导过程中，用到了数学上的Jensen不等式，这里先来介绍一下。 若Ω是有限集合{x1,x2,…,xn}" role="presentation" style="position: relative;">{x1,x2,…,xn}{x1,x2,…,xn}\{x_1,x_2,\ldots,x_n\}，而μ是Ω上的正规计数测度，则不等式的一
EM算法推导详解
邱邱邱的博客
03-07 1112
文章目录一、EM算法推导 最近在看贝叶斯相关的论文，里面讲到了EM算法，就把李航的统计学习方法这本书里的有关EM算法的详细推导过程仔细研读一遍，收获颇丰！ 数理统计的基本问题就是根据样本所提供的信息，对总体的分布或者分布的数字特征作出统计推断。所谓总体，就是一个具有确定分布的随机变量，来自总体的每一个iid样本都是一个与总体有相同分布的随机变量。 EM算法是一种迭代算法，用于含有隐变量的概率模型参...
EM算法在高斯分类中的应用公式推导
07-01
在高斯混合模型（Gaussian Mixture Model, GMM）中，EM算法用于估计模型参数，并通过概率方法实现聚类。EM算法的核心思想是通过迭代优化来最大化数据的似然函数，尤其适用于含有隐变量的问题。GMM中的隐变量表示每个样本属于各个高斯分布的概率。 --- ### 数学原理与推导 #### 1. 模型定义 假设数据 $ x_1, x_2, \dots, x_N $ 来自 $ K $ 个高斯分布的混合，其概率密度函数为： $$ p(x_i | \theta) = \sum_{k=1}^K \alpha_k \cdot \mathcal{N}(x_i | \mu_k, \Sigma_k) $$ 其中： - $ \alpha_k $ 是第 $ k $ 个高斯分布的权重系数，满足 $ \sum_{k=1}^K \alpha_k = 1 $ - $ \mathcal{N}(x_i | \mu_k, \Sigma_k) $ 表示均值为 $ \mu_k $、协方差矩阵为 $ \Sigma_k $ 的高斯分布 [^2] #### 2. 隐变量引入 对于每个观测数据 $ x_i $，引入一个隐变量 $ z_i $，表示该样本来自哪个高斯分布。$ z_i $ 是一个维度为 $ K $ 的向量，且只有一个元素为1，其余为0，即采用 one-hot 编码形式。 此时联合分布为： $$ p(x_i, z_i | \theta) = p(z_i | \alpha) \cdot p(x_i | z_i, \theta) $$ 其中： - $ p(z_i | \alpha) $ 是类别分布，由权重系数决定。 - $ p(x_i | z_i, \theta) $ 是条件高斯分布 [^4] #### 3. EM算法步骤 ##### E步：计算后验概率 在E步中，固定当前的参数估计值 $ \theta^{(t)} $，计算每个样本 $ x_i $ 属于第 $ k $ 个高斯分布的后验概率： $$ \gamma_{ik}^{(t)} = p(z_{ik}=1 | x_i, \theta^{(t)}) = \frac{\alpha_k^{(t)} \cdot \mathcal{N}(x_i | \mu_k^{(t)}, \Sigma_k^{(t)})}{\sum_{j=1}^K \alpha_j^{(t)} \cdot \mathcal{N}(x_i | \mu_j^{(t)}, \Sigma_j^{(t)})} $$ 此步骤本质上是对隐变量进行期望估计，即“期望”步骤 [^1] ##### M步：更新参数 在M步中，利用E步得到的后验概率 $ \gamma_{ik} $ 更新模型参数： - **权重更新**： $$ \alpha_k^{(t+1)} = \frac{1}{N} \sum_{i=1}^N \gamma_{ik}^{(t)} $$ - **均值更新**： $$ \mu_k^{(t+1)} = \frac{\sum_{i=1}^N \gamma_{ik}^{(t)} x_i}{\sum_{i=1}^N \gamma_{ik}^{(t)}} $$ - **协方差矩阵更新**： $$ \Sigma_k^{(t+1)} = \frac{\sum_{i=1}^N \gamma_{ik}^{(t)} (x_i - \mu_k^{(t+1)})(x_i - \mu_k^{(t+1)})^T}{\sum_{i=1}^N \gamma_{ik}^{(t)}} $$ 此步骤通过最大化期望似然函数来更新参数，即“最大化”步骤 [^3] #### 4. 收敛判断 重复E步和M步，直到参数变化小于某个阈值或达到最大迭代次数。 --- ### 示例代码（Python） 以下是一个基于 `scikit-learn` 库实现GMM与EM算法的简单示例： ```python from sklearn.mixture import GaussianMixture import numpy as np # 生成二维数据点 np.random.seed(0) X = np.concatenate([np.random.normal(loc=[0, 0], scale=1, size=(300, 2)), np.random.normal(loc=[5, 5], scale=1, size=(300, 2))]) # 初始化GMM模型 gmm = GaussianMixture(n_components=2, random_state=0) # 拟合数据 gmm.fit(X) # 输出参数 print("权重系数:", gmm.weights_) print("均值向量:", gmm.means_) print("协方差矩阵:", gmm.covariances_) ``` --- ###
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值