[算法] 如何感性的理解EM算法

最新推荐文章于 2024-06-25 04:21:57 发布
最新推荐文章于 2024-06-25 04:21:57 发布
阅读量527 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41319343/article/details/88538813
本文通过一个抛硬币的例子，逐步引入并解释了EM算法的基本原理和步骤。首先，从一个简单的例子开始，展示了如何不考虑隐变量直接估计概率。接着，当加入隐变量后，阐述了如何利用EM算法进行迭代更新，以求得更准确的估计值。文章深入浅出地介绍了EM算法的E步（期望）和M步（最大化），并通过实际计算展示了EM算法如何通过迭代逼近真实概率。最后，讨论了EM算法的优化思路，强调了利用所有数据的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何感性地理解EM算法？

EM算法 实例讲解

机器学习系列之EM算法

001、一个非常简单的例子

假设现在有两枚硬币1和2，,随机抛掷后正面朝上概率分别为P1，P2。为了估计这两个概率，做实验，每次取一枚硬币，连掷5下，记录下结果，如下：

硬币 结果 统计
1 正正反正反 3正-2反
2 反反正正反 2正-3反
1 正反反反反 1正-4反
2 正反反正正 3正-2反
1 反正正反反 2正-3反

可以很容易地估计出P1和P2，如下：

P1 = （3+1+2）/ 15 = 0.4
P2= （2+3）/10 = 0.5

到这里，一切似乎很美好，下面我们加大难度。

010、加入隐变量z

还是上面的问题，现在我们抹去每轮投掷时使用的硬币标记，如下：

硬币 结果 统计
Unknown 正正反正反 3正-2反
Unknown 反反正正反 2正-3反
Unknown 正反反反反 1正-4反
Unknown 正反反正正 3正-2反
最低0.47元/天 解锁文章

200万优质内容无限畅学
白话机器学习算法理论+实战之EM聚类
Miracle8070
02-14 3564
1. 写在前面 如果想从事数据挖掘或者机器学习的工作，掌握常用的机器学习算法是非常有必要的，比如我之前写过的一篇十大机器学习算法的小总结，在这简单的先捋一捋， 常见的机器学习算法： 监督学习算法：逻辑回归，线性回归，决策树，朴素贝叶斯，K近邻，支持向量机，集成算法Adaboost等 无监督算法：聚类，降维，关联规则, PageRank等 为了详细的理解这些原理，曾经看过西瓜书，统计学习方法，机...
个人总结：聚类 EM算法与高斯混合模型
yyhhlancelot的博客
07-19 974
前言 高斯分布，即正态分布，是一个很常见的分布，通常身高、分数等大致符合高斯分布。当研究各类数据时，假设同一类的数据符合高斯分布，也是简单自然的假设。所以在聚类时，我们希望将数据划分为一些簇时，可以假设不同簇中的样本各自服从不同的高斯分布，由此得到的聚类算法称为高斯混合模型。 高斯混合模型 假设数据可以看作多个高斯分布中生成出来的，每个分模型有自己的期望（均值）和方差，同时有一个权重，于是概...
EM算法一个实例展示
05-06
一个EM算法的简单实例展示，背景，算法边界和运算结果对比都很清楚，包含代码分析
大白话讲解EM算法
Miracle.Zhao的博客
09-08 2487
001、一个非常简单的例子假设现在有两枚硬币1和2，,随机抛掷后正面朝上概率分别为P1，P2。为了估计这两个概率，做实验，每次取一枚硬币，连掷5下，记录下结果，如下： 硬币 结果 统计 1 正正反正反 3正-2反 2 反反正正反 2正-3反 1 正反反反反 1正-4反 2 正反反正正 3正-2反 1 反正正反反 2正-3反 可以很容易地估计出P1和P2，如下：P1 = （3+1+2）/ 15 = 0
如何感性地理解EM算法？
qq_40128284的博客
05-09 226
如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，远比看懂它的数学推导重要。idea会让你有一个直观的感受，从而明白算法的合理性，数学推导只是将这种合理性用更加严谨的语言表达出来而已。打个比方，一个梨很甜，用数学的语言可以表述为糖分含量90%，但只有亲自咬一口，你才能真正感觉到这个梨有多甜，也才能真正理解数学上的90%的糖分究竟是怎么样的。如果EM是个梨，本文的目的就是带领大家咬一口。 首先，这个博客的内容不是我原创的，我在简书看见的写的.
EM算法1-感性理解EM算法(1)
liulilglitter的博客
07-19 405
讨论到EM算法，纯看公式推导就觉得非常的复杂，其实如果单纯从感性认知的角度，能更好的的了解EM算法。在哔哩哔哩等相关的分享中看到相关的课程学习内容，主要介绍如何感性的认识EM算法，但是他们分享的时候，大多数都是理论和感性认知分开讲的，这篇文章就希望能够在感谢认知的基础上，对应上其理论题推导。 下面就根据视频教学里的例子，来介绍一下EM算法的感谢认知。 首先介绍了知乎上比较简单明了的一个EM算法入门：如何感性地理解EM算法？ 具体的例子是： 假设现在有两枚硬币1和2，,随机抛掷后正面朝上概率分别为P1，P2。
EM 简单例子
weixin_33719619的博客
02-06 205
一 理论： 简版：猜（E-step）,反思（M-step）,重复； 啰嗦版： 你知道一些东西（观察的到的数据）， 你不知道一些东西（观察不到的），你很好奇，想知道点那些不了解的东西。怎么办呢，你就根据一些假设（parameter）先猜（E-step），把那些不知道的东西都猜出来，假装你全都知道了; 然后有了这些猜出来的数据，你反思一下，更新一下你...
EM算法详解
Microstrong
08-20 4166
                                                           "微信公众号"                                目录 1. 摘要 2. EM算法简介 3. 预备知识 3.1 极大似然估计 （1）问题描述 （2）用数学知识解决现实问题 （3）最大似然函数估计值的求解步骤 3.2 Jensen不等式...
数据挖掘领域十大经典算法之—EM算法
热门推荐
fuqiuai的博客
03-08 4万+
相关文章： 数据挖掘领域十大经典算法之—C4.5算法（超详细附代码） 数据挖掘领域十大经典算法之—K-Means算法（超详细附代码） 数据挖掘领域十大经典算法之—Apriori算法 数据挖掘领域十大经典算法之—EM算法 数据挖掘领域十大经典算法之—PageRank算法 数据挖掘领域十大经典算法之—AdaBoost算法（超详细附代码） 数据挖掘领域十大经...
rem实例
徐同保的专栏
11-29 631
rem实例
如何通俗理解EM算法
最新发布
2401_85599399的博客
06-25 1042
你懂了么？十有八九你没懂。因为你可能不懂什么是最大似然估计？而想了解最大似然估计，又得先从似然函数开始。但什么又是似然函数在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性。而极大似然就相当于最大可能的意思。比如你一位同学和一位猎人一起外出打猎，一只野兔从前方窜过。只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？
【机器学习笔记10】EM算法——直观理解与详细推导
issey的博客
09-09 4767
目录：似然函数；极大似然估计；隐变量；直观理解EM算法；隐变量的期望；EM算法公式详细推导；含隐变量的对数似然函数；利用jensen不等式转化方程；jeasen不等式转化详解；拔高下界；什么时候下界与对数似然相等；EM算法总结；EM算法应用场景；EM算法步骤；关于EM算法的重要说明；EM算法的优缺点；EM算法的应用。
EM算法的直觉解释和理论推导
weixin_45042682的博客
11-07 296
EM算法的直觉解释和理论推导
从两个例子理解EM算法
ustbfym的博客
02-10 1万+
从两个例子理解EM算法 本文是作者对EM算法学习的笔记，从EM算法出发介绍EM算法，为了更好理解，用两个应用EM算法求解的例子进一步解释EM的应用。 EM算法 EM算法引入 EM算法，指的是最大期望算法（Expectation Maximization Algorithm，期望最大化算法），是一种迭代算法，在统计学中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似...
用通俗易懂的方式告诉你什么是EM算法
Machine Learning with Tutors
02-03 1万+
EM(Expectation Mmaximization) 是一种迭代算法， 用于含隐变量(Latent Variable) 的概率模型参数的极大似然估计， 或极大后验概率估计 EM算法由两步组成， 求期望的E步，和求极大的M步。EM算法可以看成是特殊情况下计算极大似然的一种算法。现实的数据经常有一些比较奇怪的问题，比如缺失数据、含有隐变量等问题。当这些问题出现的时候，计算极大似然函数通常是比较困难的，而EM算法可以解决这个问题。EM算法已经有很多应用，比如最经典的Hidden Markov模型等。
EM算法摘记（四）：例子
zfoox的摘记
12-27 868
\qquad考虑一个服从某个特定分布的样本集 D={x1,x2,⋯ ,xN}\bold D=\{ \boldsymbol{x}_{1},\boldsymbol{x}_{2},\cdots,\boldsymbol{x}_{N} \}D={x1​,x2​,⋯,xN​}，假设样本点的一些特征丢失，也就是 xk=(xkg,xkb)\boldsymbol{x}_{k}=(\boldsymbol{x}_{kg...
EM算法例子简单理解（例题+基本思想+python实现
小果一粒沙的博客
06-19 7523
是研究生复试的时候问到了一个问题，我不会，导致复试成绩不好。复试完了，打算好好理解一下，于是有了下文： 简介 极大似然估计 根据样本的信息，求得未知参数的估计。 主要思想：样本信息出现的概率最大，也就是说我们想要找到一个参数，使得我们所有的样本出现的概率最大。 步骤： 写出关于似然函数。 取对数（方便后来求极值运算）。 对未知参数求偏导，令其为0（求极值），求得参数值为极大似然估计值。 补充：当然，有的并不能够使用数学上求极值的方法来求得极大似然估计值，可以使用单调性求得。不管是哪种解法，都是要求找.
EM算法及例题详解
watermelon12138的博客
05-28 1万+
一、简介 EM（Expectation-Maximum）算法也称期望最大化算法，曾入选“数据挖掘十大算法”中，可见EM算法在机器学习、数据挖掘中的影响力。EM算法是最常见的隐变量估计方法，在机器学习中有极为广泛的用途，例如常被用来学习高斯混合模型（Gaussian mixture model，简称GMM）的参数；隐式马尔科夫算法（HMM）、LDA主题模型的变分推断等等。本文就对EM算法的原理做一个...
超详细EM算法举例及推导
李宏宗的博客
09-18 5373
先学习一下极大似然 1 EM算法理解 1.1 问题描述 上面我们先假设学校所有学生的身高服从正态分布 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2) 。实际情况并不是这样的，男生和女生分别服从两种不同的正态分布，即男生 ∈N(μ1,σ12)\in N(\mu_1,\sigma_1^2)∈N(μ1​,σ12​) ，女生 ∈N(μ2,σ22)\in N(\mu_2,\sigma_2^2)∈N(μ2​,σ22​) ，(注意：EM算法和极大似然估计的前提是一样的，都要假设数据总体的分布，如果不知道数据分
详解EM算法：理论与实例解析
理解这些概念有助于理解EM算法中的梯度上升过程，因为优化目标通常是凸函数，从而保证了全局最优解的存在。 3. **詹森不等式**：这个不等式是衡量偏导数与原函数之间关系的一个工具，对于证明EM算法的收敛性和性能...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值