话说-EM算法

最新推荐文章于 2025-03-05 14:37:03 发布
最新推荐文章于 2025-03-05 14:37:03 发布
阅读量474 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 数据挖掘十大算法 文章标签： 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Andy_shenzl/article/details/104720460
本文详细介绍了EM算法，从熵和KL散度的概念出发，阐述了概率论的基础知识，包括先验概率、条件概率和后验概率，以及似然函数。接着，文章引入EM算法，解释了在有隐变量情况下如何解决最大似然估计的难题，并通过取球问题进行示例，最后讨论了EM算法的E步和M步，证明了算法的递增性质。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

EM算法是本人专栏-数据挖掘十大算法倒数第二篇

因为EM算法推导过程比较复杂，所以我们把推导过程中相关的知识点都会做一个介绍，所以篇幅会比较长，具体的步骤如下：

1、熵的相关知识

2、从概率论到似然

3、EM的引入及推导

 

一、熵的相关知识

1> 熵

在我之前的文章溯源探幽--熵的世界里具体说过熵的由来，这里只做简单的引入

熵的量化

接下来从数据角度量化一下：

熵:是表示随机变量不确定性的度量，熵的取值越大，随机变量的不确定性也越大。

设X是一个取有限个值的离散随机变量，其概率分布为 

P(X=xi)=pi, i=1,2,⋯,n

熵计算公式:H(X)=- ∑ pi * logpi,i=1,2, ... , n

一个栗子: A集合[1,1,2,2,2,2,2,2,2,2] 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【机器学习】EM算法详细推导和讲解
sowhat
10-14 1万+
　今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。 　　众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这个方法基本上所有概率课本上都会讲，我这就不多说了，不清楚的请百度。 　　然而现在...
数据挖掘的EM算法
litong09282039的博客
05-27 1880
1.  什么是EM算法？ EM算法是机器学习中一个很重要的算法，即期望最大化算法，主要包括以下两个步骤： E步骤：estimate the expected values M步骤：re-estimate parameters 这个算法的主要作用在于对参数的估计上。虽然EM算法也可以进行数据聚类，并且基于混合高斯分布进行数据拟合，但是由于EM算法进行迭代速度很慢，比kmeans性能差很多
【基础数学】先验、后验概率，似然，EM算法，ELBO(Evidence Lower Bound)，多变量条件概率公式(多变量贝叶斯公式)
devil_son1234的博客
10-17 9069
给定一个observation variable x(比如RGB图片)和latent variable z (比如是RGB图片经过encoder得到的latent feature)，假设我们想学习后验概率，但发现在实际中不易或不能求解，那么该如何求解这个后验概率？
先验、后验概率，似然，EM算法，ELBO(Evidence Lower Bound)，多变量条件概率公式(多变量贝叶斯公式)
科研小呆瓜的博客
11-07 5381
先验、后验概率，似然，EM算法，ELBO(Evidence Lower Bound)，多变量条件概率公式(多变量贝叶斯公式)的全面总结与综合分析
ELBO公式推导 (variational inference)
ltz0120的博客
12-11 1万+
Variational inference （变分推论）是为了解决当真实后验分布难以计算的情况下 （通常是因为无法直接计算），用一个方便学习的分布来近似真实后验分布. 因此 对x的log-likelihood function可以写成. 其中是让学到的分布去接近真实后验分布，是variational lower bound，也叫evidence lower bound (ELBO). 下面来计算： 以上为一个简单的ELBO形式 再继续往下推： ...
【文生图系列】基础篇-变分推理（数学推导）
陶将的博客
06-18 4332
此篇博文主要介绍什么是变分推理(Variational Inference , VI)，以及它的数学推导公式。变分推理，是机器学习中一种流行的方式，使用优化的技术估计复杂概率密度。变分推理的工作原理：**首先选择一系列概率密度函数，然后采用KL散度作为优化度量找到最接近于概率密度的函数**。引入evidence lower bound的方法更容易计算近似概率。
【有啥问啥】复习变分下界即证据下界（Evidence Lower Bound, ELBO）：原理与应用
Chauvin的博客
09-14 2314
变分下界是变分推断的核心工具，它通过最大化下界来找到近似的后验分布，使得复杂的推断问题变得可解。尽管变分下界在一些场景中存在局限性，但它仍然是生成模型、贝叶斯方法和无监督学习中的重要组成部分。随着算法的改进，变分推断及其下界的应用将会更加广泛。
em算法 实例 正态分布_【机器学习】EM算法详细推导和讲解
weixin_39761655的博客
12-19 302
今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这个方法基本上所有概率课本上都会讲，我这就不多说了，不清楚的请百度。然而现在我面临的是这种情况...
K-means聚类算法
drrlalala的专栏
04-02 6550
K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。Andrew Ng的这个讲义里很清晰地讲解了K-means后面包含的EM思想。      本文首先介绍聚类的基础——距离与相异度，然后介绍一种常见的聚类算法——k均值和k中心点聚类，最后会举一个实例：以MATLAB代码实现k均值聚类算法。    一、分类与聚类的区别：
系统理解扩散模型（Diffusion Models）：从柏拉图洞穴之喻开始（上）
Treasure_XY的博客
07-12 485
本文从底层出发系统讨论扩散模型（diffusion models），详尽地展示了必要的数学原理。
变分推断(Variational Inference,)与证明下界(Evidence Lower Bound, ELBO)
Rover的博客
05-02 2260
假设我们现在要做一个生成模型，我们只有训练集的数据，要求数据的分布p，我们当然无法直接求。因此一个可行的方法是，找一个容易表达和求解的分布q，只要p和q的分布差异足够小，我们就可以将q作为p的近似分布了，成为我们的输出结果。而求解这个过程的方法，就叫做变分推断。这样的一个思路，我们就可以把一个求分布问题，转变成了“缩小距离”的优化问题。本文在开头，先直白讲解了什么叫做变分推断，以及它的作用。然后从机器学习的生成模型的背景开始，逐步引出变分推断的使用，最后从头到尾推导了，ELBO的由来。
变分扩散模型中的 Evidence Lower Bound (ELBO) 详解
最新发布
阿正的梦工坊
03-05 1025
本文将详细解析 ELBO 的每个组成部分及其数学意义
ELBO（Evidence Lower Bound）介绍-ChatGPT4o作答
qq_46215223的博客
11-15 748
ELBO 是对数边缘似然（( \log p(x) )）的一个下界。我们可以将对数似然进行变换，得到：其中：因为 KL 散度 ( D_{KL}(q(z|x) || p(z|x)) ) 总是非负的（Gibbs 不等式），因此 ( \text{ELBO} \leq \log p(x) )。最大化 ELBO 就相当于最小化 KL 散度，从而逼近真实的后验分布。ELBO 是一种构造性的方法，通过近似复杂的概率分布，提供了一个优化目标。
kl散度的理解_关于VaDE模型的理解与思考
weixin_39611047的博客
12-01 1263
Zero-shot learning的一个关键技术是建立语义信息与图像信息的对应关系，很多人会尝试用生成模型来间接构造visual-semantic embedding space。有时间也看看相关的一些研究，整理一下。今天主要讲讲腾讯2017年发在IJCAI上的一篇论文的理解和思考：Variational Deep embedding: An Unsupervised and Ge...
时序分析 21 高斯混合模型 （中）
weixin_43171270的博客
05-06 1162
时序分析 22 高斯混合模型 （中） …接上     金融时序经常呈现不平稳的状态，同时金融市场也会处于不同的阶段。例如牛市和熊市，高波动期/中波动期/低波动期。有时候市场价格和过去的价格是正相关的而有时是负相关的；有时和某些变量呈现线性关系而有时呈现非线性关系。     我们在分析时序数据时，判断和预测市场所处的阶段非常重要。本系列文章前面所讨论的隐含马尔可夫模型就是对此类问题的一种方法，本篇文章着重讨论如何使用高斯混合模型来
变分推断中的ELBO(证据下界)
热门推荐
qy20115549的博客
06-20 5万+
变分推断简介 变分推理的目标是近似潜在变量(latent variables)在观测变量（observed variables）下的条件概率。解决该问题，需要使用优化方法。在变分推断中，需要使用到的一个重要理论，是平均场理论，读者可以参考我的另外一篇博客： https://qianyang-hfut.blog.youkuaiyun.com/article/details/86644192 变分推断等价于最小化...
PyMC3 - 简介和入门
Jack.Xu 专栏
05-02 4万+
摘要概率编程允许在用户自定义的概率模型上进行自动贝叶斯推断。新的MCMC(Markoc chain Monte Carlo)采样方法允许在复杂模型上进行推断。这类MCMC采样方法被称为HMC(Hamliltinian Monte Carlo)，但是其推断需要的梯度信息有时候是不获得的。PyMC3是一个用Python编写的开源的概率编程框架，使用Theano通过变分推理进行梯度计算，并使用了C实现加速
LearningNotes 变分自编码（VariationalAutoEncoder VAE）
人工智能
04-22 1万+
近年，随着有监督学习的低枝果实被采摘的所剩无几，无监督学习成为了研究热点。VAE（Variational Auto-Encoder，变分自编码器）[1,2] 和 GAN（Generative Adversarial Networks） 等模型，受到越来越多的关注。 笔者最近也在学习 VAE 的知识（从深度学习角度）。首先，作为工程师，我想要正确的实现 VAE 算法，以及了解 VAE 能够帮助
贝叶斯机器学习前沿进展
人机与认知实验室
01-16 7155
摘 要 随着大数据的快速发展，以概率统计为基础的机器学习在近年来受到工业界和学术界的极大关注，并在视觉、语音、自然语言、生物等领域获得很多重要的成功应用，其中贝叶斯方法在过去２０多年也得到了快速发展，成为非常重要的一类机器学习方法．总结了贝叶斯方法在机器学习中的最新进展，具体内容包括贝叶斯机器学习的基础理论与方法、非参数贝叶斯方法及常用的推理方法、正则化贝叶斯方法等．最后，还针对大规模贝叶斯学习问
基于GMM-EM算法的高斯模型数据分类方法
高斯混合模型（Gaussian Mixture Model, GMM）和期望最大化算法...通过实际的项目操作，如“EM-GMM-matlab-master”，学习者可以更好地掌握GMM-EM算法的设计思想和实现细节，为未来的数据分析工作奠定坚实的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Andy_shenzl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值