EM算法实例通俗讲解

超详细EM算法举例及推导 先学习一下极大似然 1 EM算法理解 1.1 问题描述 上面我们先假设学校所有学生的身高服从正态分布 N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2) 。实际情况并不是这样的,男生和女生分别服从两种不同的正态分布,即男生 ∈N(μ1,σ12)\in N(\mu_1,\sigma_1^2)∈N(μ1​,σ12​) ,女生 ∈N(μ2,σ22)\in N(\mu_2,\sigma_2^2)∈N(μ2​,σ22​) ,(注意:EM算法和极大似然估计的前提是一样的,都要假设数据总体的分布,如果不知道数据分 阅读详情

 

如果使用基于最大似然估计的模型,模型中存在隐变量,就要用EM算法做参数估计。个人认为,理解EM算法背后的idea,远比看懂它的数学推导重要。idea会让你有一个直观的感受,从而明白算法的合理性,数学推导只是将这种合理性用更加严谨的语言表达出来而已。打个比方,一个梨很甜,用数学的语言可以表述为糖分含量90%,但只有亲自咬一口,你才能真正感觉到这个梨有多甜,也才能真正理解数学上的90%的糖分究竟是怎么样的。如果EM是个梨,本文的目的就是带领大家咬一口。

001、一个非常简单的例子

假设现在有两枚硬币1和2,,随机抛掷后正面朝上概率分别为P1,P2。为了估计这两个概率,做实验,每次取一枚硬币,连掷5下,记录下结果,如下:

硬币结果统计
1正正反正反3正-2反
2反反正正反2正-3反
1正反反反反1正-4反
2正反反正正3正-2反
1反正正反反2正-3反

可以很容易地估计出P1和P2,如下:

P1 = (3+1+2)/ 15 = 0.4
P2= (2+3)/10 = 0.5

到这里,一切似乎很美好,下面我们加大难度。

010、加入隐变量z

还是上面的问题,现在我们抹去每轮投掷时使用的硬币标记,如下:

硬币结果统计
Unknown正正反正反3正-2反
Unknown反反正正反2正-3反
Unknown正反反反反1正-4反
Unknown正反反正正3正-2反
Unknown反正正反反2正-3反

好了,现在我们的目标没变,还是估计P1和P2,要怎么做呢?

显然,此时我们多了一个隐变量z,可以把它认为是一个5维的向量(z1,z2,z3,z4,z5),代表每次投掷时所使用的硬币,比如z1,就代表第一轮投掷时使用的硬币是1还是2。但是,这个变量z不知道,就无法去估计P1和P2,所以,我们必须先估计出z,然后才能进一步估计P1和P2。

但要估计z,我们又得知道P1和P2,这样我们才能用最大似然概率法则去估计z,这不是鸡生蛋和蛋生鸡的问题吗,如何破?

答案就是先随机初始化一个P1和P2,用它来估计z,然后基于z,还是按照最大似然概率法则去估计新的P1和P2,如果新的P1和P2和我们初始化的P1和P2一样,请问这说明了什么?(此处思考1分钟)

这说明我们初始化的P1和P2是一个相当靠谱的估计!

就是说,我们初始化的P1和P2,按照最大似然概率就可以估计出z,然后基于z,按照最大似然概率可以反过来估计出P1和P2,当与我们初始化的P1和P2一样时,说明是P1和P2很有可能就是真实的值。这里面包含了两个交互的最大似然估计。

如果新估计出来的P1和P2和我们初始化的值差别很大,怎么办呢?就是继续用新的P1和P2迭代,直至收敛。

这就是下面的EM初级版。

011、EM初级版

我们不妨这样,先随便给P1和P2赋一个值,比如:
P1 = 0.2
P2 = 0.7

然后,我们看看第一轮抛掷最可能是哪个硬币。
如果是硬币1,得出3正2反的概率为 0.2*0.2*0.2*0.8*0.8 = 0.00512
如果是硬币2,得出3正2反的概率为0.7*0.7*0.7*0.3*0.3=0.03087
然后依次求出其他4轮中的相应概率。做成表格如下:

轮数若是硬币1若是硬币2
10.005120.03087
20.020480.01323
30.081920.00567
40.005120.03087
50.020480.01323

按照最大似然法则:
第1轮中最有可能的是硬币2
第2轮中最有可能的是硬币1
第3轮中最有可能的是硬币1
第4轮中最有可能的是硬币2
第5轮中最有可能的是硬币1

我们就把上面的值作为z的估计值。然后按照最大似然概率法则来估计新的P1和P2。

P1 = (2+1+2)/15 = 0.33
P2=(3+3)/10 = 0.6

设想我们是全知的神,知道每轮抛掷时的硬币就是如本文第001部分标示的那样,那么,P1和P2的最大似然估计就是0.4和0.5(下文中将这两个值称为P1和P2的真实值)。那么对比下我们初始化的P1和P2和新估计出的P1和P2:

初始化的P1估计出的P1真实的P1初始化的P2估计出的P2真实的P2
0.20.330.40.70.60.5

看到没?我们估计的P1和P2相比于它们的初始值,更接近它们的真实值了!

可以期待,我们继续按照上面的思路,用估计出的P1和P2再来估计z,再用z来估计新的P1和P2,反复迭代下去,就可以最终得到P1 = 0.4,P2=0.5,此时无论怎样迭代,P1和P2的值都会保持0.4和0.5不变,于是乎,我们就找到了P1和P2的最大似然估计。

这里有两个问题:
1、新估计出的P1和P2一定会更接近真实的P1和P2?
答案是:没错,一定会更接近真实的P1和P2,数学可以证明,但这超出了本文的主题,请参阅其他书籍或文章。
2、迭代一定会收敛到真实的P1和P2吗?
答案是:不一定,取决于P1和P2的初始化值,上面我们之所以能收敛到P1和P2,是因为我们幸运地找到了好的初始化值。

100、EM进阶版

下面,我们思考下,上面的方法还有没有改进的余地?

我们是用最大似然概率法则估计出的z值,然后再用z值按照最大似然概率法则估计新的P1和P2。也就是说,我们使用了一个最可能的z值,而不是所有可能的z值。

如果考虑所有可能的z值,对每一个z值都估计出一个新的P1和P2,将每一个z值概率大小作为权重,将所有新的P1和P2分别加权相加,这样的P1和P2应该会更好一些。

所有的z值有多少个呢?显然,有2^5=32种,需要我们进行32次估值??

不需要,我们可以用期望来简化运算。

轮数若是硬币1若是硬币2
10.005120.03087
20.020480.01323
30.081920.00567
40.005120.03087
50.020480.01323

利用上面这个表,我们可以算出每轮抛掷中使用硬币1或者使用硬币2的概率。比如第1轮,使用硬币1的概率是:
0.00512/(0.00512+0.03087)=0.14
使用硬币2的概率是1-0.14=0.86
依次可以算出其他4轮的概率,如下:

轮数z_i=硬币1z_i=硬币2
10.140.86
20.610.39
30.940.06
40.140.86
50.610.39

上表中的右两列表示期望值。看第一行,0.86表示,从期望的角度看,这轮抛掷使用硬币2的概率是0.86。相比于前面的方法,我们按照最大似然概率,直接将第1轮估计为用的硬币2,此时的我们更加谨慎,我们只说,有0.14的概率是硬币1,有0.86的概率是硬币2,不再是非此即彼。这样我们在估计P1或者P2时,就可以用上全部的数据,而不是部分的数据,显然这样会更好一些。

这一步,我们实际上是估计出了z的概率分布,这步被称作E步。

结合下表:

硬币结果统计
Unknown正正反正反3正-2反
Unknown反反正正反2正-3反
Unknown正反反反反1正-4反
Unknown正反反正正3正-2反
Unknown反正正反反2正-3反

我们按照期望最大似然概率的法则来估计新的P1和P2:

以P1估计为例,第1轮的3正2反相当于
0.14*3=0.42正
0.14*2=0.28反
依次算出其他四轮,列表如下:

轮数正面反面
10.420.28
21.221.83
30.943.76
40.420.28
51.221.83
总计4.227.98

P1=4.22/(4.22+7.98)=0.35 (正常情况应该 (正面总数/总次数就)就是p1的值了,但是每轮投掷中是硬币1的概率是不一样的,所以在计数的时候要加上每轮是硬币1的概率)

可以看到,改变了z值的估计方法后,新估计出的P1要更加接近0.4。原因就是我们使用了所有抛掷的数据,而不是之前只使用了部分的数据。

这步中,我们根据E步中求出的z的概率分布,依据最大似然概率法则去估计P1和P2,被称作M步。

101、总结

以上,我们用一个实际的小例子,来实际演示了EM算法背后的idea,共性存于个性之中,通过这个例子,我们可以对EM算法究竟在干什么有一个深刻感性的认识,掌握EM算法的思想精髓。

推一篇Nature Biotech的EM tutorial文章,用了一个投硬币的例子来讲EM算法的思想。

Do, C. B., & Batzoglou, S. (2008). What is the expectation maximization algorithm?. Nature biotechnology, 26(8), 897.
推荐读原文,没有复杂的数学公式,通俗易懂。
Reference:

http://pan.baidu.com/s/1i4NfvP7

EM算法及例题详解 一、简介 EM(Expectation-Maximum)算法也称期望最大化算法,曾入选“数据挖掘十大算法”中,可见EM算法在机器学习、数据挖掘中的影响力。EM算法是最常见的隐变量估计方法,在机器学习中有极为广泛的用途,例如常被用来学习高斯混合模型(Gaussian mixture model,简称GMM)的参数;隐式马尔科夫算法(HMM)、LDA主题模型的变分推断等等。本文就对EM算法的原理做一个... 阅读详情

相关推荐

【大道至简】机器学习算法之EM算法(Expectation Maximization Algorithm)详解(附代码)---通俗理解EM算法。

通过上面的分析,我们终于可以总结一下EM算法啦!总的来说,EM算法分为E步和M步:(1)给参数θ即第0步赋初值;(2)如果是第一轮迭代,那么令θ=来计算Q函数;如果是>1轮迭代,则θ的值由上一次M步计算出的θ值决定。由于E步时θ已知,所以只需要计算Q,公式如下:也就是给定θ和已知的观测数据x的条件下,求一下隐变量z的条件概率。(3)根据E步计算出来的Q,按如下公式计算θ:也就是固定Q(z也固定)和已知的观测数据x,算一下θ。(4)重复(3)和(4)直至收敛。

尚拙的博客 2万+

EM算法例子简单理解(例题+基本思想+python实现

是研究生复试的时候问到了一个问题,我不会,导致复试成绩不好。复试完了,打算好好理解一下,于是有了下文: 简介 极大似然估计 根据样本的信息,求得未知参数的估计。 主要思想:样本信息出现的概率最大,也就是说我们想要找到一个参数,使得我们所有的样本出现的概率最大。 步骤: 写出关于似然函数。 取对数(方便后来求极值运算)。 对未知参数求偏导,令其为0(求极值),求得参数值为极大似然估计值。 补充:当然,有的并不能够使用数学上求极值的方法来求得极大似然估计值,可以使用单调性求得。不管是哪种解法,都是要求找.

小果一粒沙的博客 7737

“上帝的算法”——EM

“上帝的算法”——EM写在前面:最近看完了吴军的《数学之美》,大赞!相比《统计学习方法》、《机器学习》来说,《数学之美》没有那么多的公式理论,全是科普性质的(开拓眼界),其中也不乏一些数学原理的解释,通俗易懂。作为一名数据挖掘爱好者,我觉得这本书是非常值得一读的,可以了解过去机器学习在自然语言处理、搜索广告以及大数据相关领域的发展。书中有一章节,吴军博士命名为:上帝的算法——期望最大化算法,可见作者

hczheng的专栏 8958

EM算法详解+通俗例子理解

文章目录1、总述2、定义3、感性例子:例子简介:加入隐变量zEM初级版EM进阶版例子总结4、Jensen不等式(前置知识)5、EM思想6、EM推导7、应用8、参考文献 1、总述 期望最大算法是一种从不完全数据或有数据丢失的数据集(存在隐含变量)中求解概率模型参数的最大似然估计方法。EM算法是机器学习十大算法之一,或许确实是因它在实际中的效果很好吧。下面先来说说它的定义。 gif演示 2、定义 EM...

呆呆象呆呆的博客 4万+

极大似然估计与EM算法

极大似然估计与EM算法理解 什么是极大似然估计(MLE)? ​ 极大似然估计是建立在极大似然原理上的一种参数估计方法。其目的是利用已知的样本结果,反推最有可能导致这样结果的参数值。 通俗地说,就是通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率最大。 极大似然估计的一般步骤: 写出似然函数:估计参数θ的似然函数即各样本在θ条件下出现的联合概率分布概率密度函数 L(θ...

weixin_42565558的博客 1604

Unity中实现HLS视频加密与流式播放的完整方案

本文详细介绍了在Unity中实现HLS视频加密与流式播放的完整方案。针对Unity原生VideoPlayer无法直接支持实时解密的问题,提出了基于HLS协议与AES-128加密的成熟解决方案,并重点阐述了如何利用AVPro Video插件进行集成。文章涵盖了从密钥生成、使用FFmpeg进行视频加密切片,到在Unity中动态加载密钥并播放加密流的全流程,为保护付费课程、独家动画等视频内容提供了安全且高效的实践路径。

weixin_29290963的博客 394

EM算法推导及案例演示

因为这一组样本出现的概率比较大,如果这一组观测值出现的概率比较小我们很可能就观测不到这组样本。基于以上理论,我们先将这组样本出现的概率求出来,前面提到这组样本出现的概率比较大我们才能观测到这组样本,那么多大的概率才算是概率比较大呢?我们没有概念,但是我们可以求出现这组样本的最大概率,这个最大概率的值是多少我们并不关心,在求概率最大的过程中就可以将概率分布中的参数θ求出来。总结:最大似然估计就是令观测到的样本出现的概率最大,在求概率最大值的过程中对参数θ求导,令导数为零,进而求出参数θ。

醉糊涂仙的博客 2249

Vivado 18.3安装全攻略:从下载到配置的完整指南

本文详细介绍了Vivado 18.3的安装全流程,从下载准备到配置优化,特别适合FPGA开发者。文章包含硬件要求、版本选择、组件配置等实用技巧,帮助用户避免常见安装问题,确保稳定运行。重点解析了License配置和系统优化设置,提升开发效率。

weixin_28331555的博客 569

EM算法及其通俗易懂的讲解

本文转自:http://blog.youkuaiyun.com/zouxy09/article/details/8537620 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多

紫轩的专栏 1万+

Python声音识别实战:从音频处理到智能分类

本文详细介绍了使用Python进行声音识别的完整实战流程。从音频预处理、特征提取(如MFCC)到构建分类模型(SVM、CNN),并最终实现一个实时环境音分类器。文章以Python为核心工具,结合librosa等库,为开发者提供了从理论到实践的清晰路径,适用于智能家居、工业监测等多种应用场景。

weixin_29064009的博客 326

vue项目基于WebRTC实现一对一音视频通话

vue项目基于WebRTC实现一对一音视频通话。完整代码gitee地址: https://gitee.com/wade-nian/wdn-webrtc.git。

qq_920189602的博客 6649

如何通俗理解EM算法

你懂了么?十有八九你没懂。因为你可能不懂什么是最大似然估计?而想了解最大似然估计,又得先从似然函数开始。但什么又是似然函数在数理统计学中,似然函数是一种关于统计模型中的参数的函数,表示模型参数中的似然性。“似然性”与“或然性”或“概率”意思相近,都是指某种事件发生的可能性。而极大似然就相当于最大可能的意思。比如你一位同学和一位猎人一起外出打猎,一只野兔从前方窜过。只听一声枪响,野兔应声到下,如果要你推测,这一发命中的子弹是谁打的?

2401_85599399的博客 1183

使用spacy规则化提取自然语言文本信息

1. 安装spacy pip install spicy spicy还需要载入文本库,使用pip的下载方式: python3 -m spacy download en_core_web_sm 但是很有可能因为网络问题下载速度非常缓慢,所以可以选择到github上去直接下载(注意和自己的spacy版本匹配):github下载链接 下载*.tar.gz文件即可。 然后切换到下载路径, pip install en_core_web_sm-3.1.0.tar.gz 2. spacy的一些基础用法 使用spa

六六六六神的博客 1820

如何通俗理解EM算法,进阶加薪全靠它

了解过EM算法的同学可能知道,EM算法是数据挖掘十大算法,可谓搞机器学习或数据挖掘的基本绕不开,但EM算法又像数据结构里的KMP算法,看似简单但又貌似不是一看就懂,想绕开却绕不开的又爱又恨,可能正在阅读此文的你感同身受。一直以来,我都坚持一个观点:当你学习某个知识点感觉学不懂时,十有八九不是你不够聪明,十有八九是你所看的资料不够通俗、不够易懂(如果还是不行,问人)。

2401_84239525的博客 889

Android存储空间不足下,APP出现奔溃等情况

版权声明:本文为博主原创文章,未经博主允许不得转载。 1. 问题起因     实时录制视频,使用getExternalCacheDir()函数返回的路径作为文件缓存区 2. 问题产生     系统在空间不足的情况下第一清除getExternalCacheDir和getCache文件下的缓存,导致正在录制的视频出现Error。 3. 解决方案     第一

OverseasAndroid的博客 4161

CODESYS安装全攻略:从下载到配置的保姆级教程(含常见问题解决)

本文提供了一份详细的CODESYS安装与配置指南,涵盖从系统环境准备、安装包下载、Development System安装到Runtime System配置的全过程。教程重点解决了安装过程中的常见权限、兼容性和连接问题,并指导用户完成第一个PLC程序的创建与调试,帮助工业自动化开发者快速上手这一通用开发平台。

kkk56的博客 421

通俗理解EM算法

这是我见到的比较通俗易懂地讲解EM算法的博客,对我理解EM算法起到非常大的帮助作用。博客转自zouxy09的专栏,地址为:http://blog.youkuaiyun.com/zouxy09/article/details/8537620  ,在此表示感谢。 从最大似然到EM算法浅解 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09  

阿里贝尔的博客 8657

基于STM32、HAL库的MICRF112YMM-TR 无线收发器驱动程序设计

内部集成了 VCO、PLL、PA、LNA、混频器、滤波器等射频功能单元,极大减少了外部元件数量,降低了设计和布线难度。: 具有多种工作模式(睡眠、待机、接收、发射),待机电流极低,非常适合电池供电的物联网(IoT)设备。是 Microchip 公司生产的一款高性能、低功耗的单片 UHF ASK/FSK 收发器芯片。: 支持 ASK (幅移键控) 和 FSK (频移键控) 调制,适应不同应用需求。// 可以添加其他配置参数,如中心频率、数据速率等。智能家居(安防、遥控、传感)远程钥匙进入系统 (RKE)

corlin6688的博客 420

通俗易懂的EM算法

  假设现在有两枚硬币1和2,,随机抛掷后正面朝上概率分别为P1,P2。为了估计这两个概率,做实验,每次取一枚硬币,连掷5下,记录下结果,如下: 硬币 结果 统计 1 正正反正反 3正-2反 2 反反正正反 2正-3反 1 正反反反反 1正-4反 2 正反反正正 3正-2反 1 反正正反反 2正-3反 ...

Mason_Mao的博客 672

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

EM 算法通俗简明详细系统介绍

1)EM 算法之目的 一种通过迭代的期望最大化算法(Expectation-Maximization Algorithm) \qquad通过观察数据,获取模型参数。例如 x1,x2,...,xnx_{1},x_{2},...,x_{n}x1​,x2​,...,xn​,为某班男女同学身高,其中,男生身高服从高斯分布1:N1(μ1,σ1)\Nu_{1}(\mu_{1},\sigma_{1})N1​(μ1​,σ1​);女生身高服从高斯分布2:N2(μ2,σ2)\Nu_{2}(\mu_{2},\sigma_

flyso_80的博客 1678

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

《算法原理讲解》:EM算法

目录 通俗理解极大似然估计 EM算法引例 EM算法公式推导 Jensen不等式 EM算法的流程 通俗理解极大似然估计 举个例子:假设有一百个男生,我们抽取五十个人进行身高的统计。 我们根据先验知识知道,身高服从高斯分布 ,但高斯分布的方差和均值不知道。 我们想通过抽取出的五十个人升高估计这两个参数,这就是极大似然估计。 后面累乘的那部分就是:...

shawroad的博客 774

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

转载:EM算法的最精辟讲解

转载:EM算法的最精辟讲解 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界上,还吸引了那么多世人的目光。 ...

randy_01的博客 726

EM算法(Expectation - Maximization)通俗实例(What is the expectation maximization algorithm?)

EM算法通俗例子What is the expectation maximization algorithm?

cf的博客 6662

从最大似然到EM算法,Kmeans

原文地址: http://blog.youkuaiyun.com/zouxy09/article/details/8537620/ 从最大似然到EM算法浅解 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09          机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能

zr459927180的博客 3440
上一篇: 机器学习笔记(十)EM算法及实践(以混合高斯模型(GMM)为例来次完整的EM)
下一篇: EM算法 实例讲解
It_BeeCoder
博客等级 码龄10年 967粉丝 238原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值