机器学习笔记(十)EM算法及实践(以混合高斯模型(GMM)为例来次完整的EM)

深度探索:机器学习中的高斯混合模型(GMM)原理及其应用 高斯混合模型凭借其强大的概率建模能力和广泛应用前景,在机器学习领域占据重要地位。尽管存在参数选择难题和局部最优风险,但通过结合先验知识、使用合适的初始化策略、引入贝叶斯框架或与其他算法(如深度学习)融合,可以有效提升GMM的性能和泛化能力。随着计算资源的增长和算法研究的深入,高斯混合模型及其变种有望在更大规模、更高维度、更复杂结构的数据分析任务中发挥关键作用。同时,对模型选择、优化算法和混合模型族的理论研究也将持续推动该领域的进步。 阅读详情

 

今天要来讨论的是EM算法。第一眼看到EM我就想到了我大枫哥,EM Master,千里马,RUA!!!不知道看这个博客的人有没有懂这个梗的。好的,言归正传,今天要讲的EM算法,全称是Expectation maximization,期望最大化。怎么个意思呢,就是给你一堆观测样本,让你给出这个模型的参数估计。我靠,这套路我们前面讨论各种回归的时候不是已经用烂了吗?求期望,求对数期望,求导为0,得到参数估计值,这套路我懂啊,MLE!但问题在于,如果这个问题存在中间的隐变量呢?会不会把我们的套路给带崩呢,我们通过两个例子来认识一下这两种情况。

====================================================================

不存在中间变量的EM。

假设有一天人类消除了性别的差别,所有的人都是同一个性别。这个时候,我给了你一群人的身高让你给我做一个估计人身高的模型。

怎么办呢?感觉上身高应该是服从高斯分布吧,所以假设人的身高分布服从高斯分布N(Mu,Sigma^2),现在我又有了N个人的身高的数据,我就可以照着上面的套路进行了。先求对数似然函数

接着对两个参数求偏导为0

这样就得到了我们的参数估计

喜闻乐见的结果,又好求又符合我们的直觉,那我们再来看看另一种情况。

====================================================================

存在中间变量的EM。

正如你所知,身高和人种的关系挺大的,而人类又有那么多种族,所以,再给你一堆人的数据,要做一个估计人身高的模型,那我们应该怎么做呢?

首先,现在分为不同种族若干类了,这些类别的概率肯定有个分布,其次,各种族当中身高是服从不同的分布的,那么这样身高的估计就变成了

Alpha代表了该样本属于某一人种的比例,其实就是隐藏的中间变量。Muk和sigmak^2为各类高斯分布的参数。按照我们上面的套路就是求对数似然概率再求导得到参数的估计,那么先来看看似然函数

这下尴尬的情况出现了,对数里面带加号,这下求导就变得复杂异常了,而且没法求解,事实上,这种式子确实没有解析解。不过憋灰心啊,假设我们随便猜一个alpha的分布为Q,那么对数似然函数可以写成

 

由于Q是alpha的一个分布,所以似然函数可以看成是一个log(E(x)),log是个凹函数啊,割线始终在函数图像下方,Jensen不等式反向应用一下,有log(E(x))>=E(log(x)),所以上面的对数似然有

冷静分析一下现在的情况,我们现在得到了一个对数似然函数的下界函数,我们采用曲线救国的战略,我们求解它的局部最大值,那么更新后的参数带入这个下界函数一定比之前的参数值大,而它本身又是对数似然函数的下界函数,所以参数更新后,我们的对数似然函数一定是变大了!所以,就利用这种方法进行迭代,最后就能得到比较好的参数估计。还有点晕吗,没事,我从百度扒个图给你来个形象的解释

红色那条线就是我们的对数似然函数,蓝色那条是我们在当前参数下找到的对数似然的下界函数,可以看到,我们找到它的局部极值那么参数更新成thetanew,此时对数似然函数的值也得到了上升,这样重复进行下去,是不是就可以收敛到对数似然函数的一个局部极值了嘛。对的,局部极值,并不能保证是全局最优,但它就是个估计嘛,你还要她怎样?!

到了这里,我们好像跳着先把第二步参数更新的工作做完了,那么还有一个事情是我们要注意的,Q呢,Q是啥,没Q你算啥极值,更新啥参数。我们已经知道Q是alpha的一个分布,然后我们肯定是希望这个下界函数尽量贴近原来的对数似然函数,这样我们才能更快地更新参数,那下界函数啥时最大呢,等号成立呗,等号成立说明你求期望的对象是个常数呀,所以log和Q谁在前后都无所谓,那么就有了

直观地可以理解成第i个样本来自第k个类别的可能性。好了,现在Q也确定了,我们根据上面所说的方法更新参数,再更新Q,再更新参数,迭代进行下去就可以了。

如果你能坚持看到这里,少侠我只能说你大功已成。因为其实我们已经把EM算法整个推导完了,也许你还是有点云里雾里,那我们再来仔细梳理一下这个流程

1 拿到所有的观测样本,根据先验或者喜好先给一个参数估计。

2 根据这个参数估计和样本计算类别分布Q,得到最贴近对数似然函数的下界函数。

3 对下界函数求极值,更新参数分布。

4 迭代计算,直至收敛。

说起来啊,EM算法据说是机器学习进阶的一个算法,但至少目前来看,它的思路还是很容易理解的嘛,整个过程中唯一一个可能初学者觉得有点绕的地方就是应用Jensen不等式的那一步,那我再啰嗦两句。所谓Jensen不等式,你可以这么理解,对于一个凸函数f而言,它的割线始终在函数图像上方你承认吧,我在上面任取两点x1,x2,参数theta介于0到1之间,那么theta*x1+(1-theta)*x2就是介于x1和x2之间的一点吧,在这点上过x1x2割线的值大于函数值吧,是不是就有了theta*f(x1)+(1-theta)*f(x2)>f(theta*x1+(1-theta)*x2),根据这个结论再推广开来,就有E(f(x))>f(E(x)),在对数似然函数中,由于log是个凹函数,所以把它反过来用,老铁没毛病吧?!这一点想通了我觉得整个EM算法的流程还是蛮好懂的。

下面呢,我们还回到这个身高模型的预测,假设给了m个样本,有k个种族,每个种族的身高都是服从高斯分布的,那么这就变成了EM算法中最具代表性的一个例子,高斯混合模型GMM。

====================================================================高斯混合模型(GMM)

刚才已经讲了EM算法的套路了,假设我们现在处于某一步迭代中,那么我们该干嘛呢?

E-step 求最佳的类别分布

可以将其理解为第i个样本属于第J类的概率。

M-step 更新参数

求得了Q之后,我们就得到了最贴近原对数似然函数的下界函数,那我们对它求极值就可以得到更新后的参数,先看一下这个下界函数

Log函数里面全是乘积项这是我们最喜欢的形式,这样求导的时候但凡不相关的我们直接扔掉就行,待求参数mu,sigma^2,psi,依次求导为0就成。

对于psi的求解可能复杂一些,首先我们把下界函数中与psi不相关的项全部去掉,然后psi作为各类别的比例有一个天然的约束条件就是所有的psi之和为1,所以目标函数变成

这种带约束的优化前面在SVM的时候不知道用了多少回,拉格朗日乘子法

接下来对psi求导

两边同时再对j从1到k连加,psi那一项就没了,右式就变成样本数目m,这样就求得了beta,回代我们就可以求得psi参数的更新

至此,所有的参数更新工作就已完成,下面重复进行迭代就行了。

我们先把GMM的算法梳理一下

1 给参数取初始值,开始迭代。

2 求每个样本对每个类别的概率,科学的叫法叫求响应度

 

3 更新模型参数

 

4 重复23两步直至收敛。

我们再来看看这些参数的意义,其实未尝不符合我们的直觉认识。W(i,j)可以看做第i个样本属于第j类的概率,那么所有样本中属于第j类的个数就是w(i,j)之和,每个样本xi对应第j类的值就是W(i,j) xi,这样算的平均数就是第j类对应的mu,继续按照这个思路算的方差就是第j类的sigma^2,第j类的概率就是第j类的个数除以总样本数。所以,GMM模型虽然推导起来有点吓人,但仔细想想它最后的结果也是符合我们的直觉认识的,每个样本都是一部分属于某一类,所有样本中的某一类的部分构成了这一类的分布,perfect!!!

====================================================================

这样的话,理论部分我们就讲完了,接下来又是调包侠的时刻了,上次写完后我想到鸢尾花数据无监督算法也能做啊,不给标签我们强行给它分类看看效果如何。所以这里我们K-Means和GMM算法分别对鸢尾花进行处理,看看它们的聚类效果如何。

代码如下

  1. import numpy as np

  2. from sklearn import datasets

  3. from sklearn.cluster import KMeans

  4. from sklearn.mixture import GaussianMixture

  5. #读取数据

  6. iris=datasets.load_iris()

  7. x=iris.data[:,:2]

  8. y=iris.target

  9. mu = np.array([np.mean(x[y == i], axis=0) for i in range(3)])

  10. print '实际均值 = \n', mu

  11. #K-Means

  12. kmeans=KMeans(n_clusters=3,init='k-means++',random_state=0)

  13. y_hat1=kmeans.fit_predict(x)

  14. mu1=np.array([np.mean(x[y_hat1 == i], axis=0) for i in range(3)])

  15. print 'K-Means均值 = \n', mu1

  16. print '分类正确率为',np.mean(y_hat1==y)

  17. gmm=GaussianMixture(n_components=3,covariance_type='full', random_state=0)

  18. gmm.fit(x)

  19. print 'GMM均值 = \n', gmm.means_

  20. y_hat2=gmm.predict(x)

  21. print '分类正确率为',np.mean(y_hat2==y)

输出结果为

实际均值 =

[[5.006  3.418]

 [5.936  2.77 ]

 [6.588  2.974]]

K-Means均值 =

[[5.77358491  2.69245283]

 [ 5.006      3.418     ]

 [ 6.81276596 3.07446809]]

分类正确率为 0.233333333333

GMM均值 =

[[5.01494511  3.44040237]

 [ 6.69225795 3.03018616]

 [ 5.90652226 2.74740414]]

分类正确率为 0.533333333333怒摔键盘啊,什么破正确率呀!!!憋急啊,我看事情并不简单。机智的我们观察一下均值矩阵。K-Means给出的第一行似乎和实际的第二行很接近,第二行和实际的第一行很接近。同样,GMM给出的均值矩阵也有同样的问题,第二行和第三行似乎对调了。这不是算法的锅啊,它只管给你聚类,哪里还能保证标签和你一样啊,三个类别六种标签方式人家算法也只能随机一种好吗,所以现在我们把预测的结果的标签改一下看看实际的正确率如何。

  1. import numpy as np

  2. from sklearn import datasets

  3. from sklearn.cluster import KMeans

  4. from sklearn.mixture import GaussianMixture

  5. #读取数据

  6. iris=datasets.load_iris()

  7. x=iris.data[:,:2]

  8. y=iris.target

  9. mu = np.array([np.mean(x[y == i], axis=0) for i in range(3)])

  10. print '实际均值 = \n', mu

  11. #K-Means

  12. kmeans=KMeans(n_clusters=3,init='k-means++',random_state=0)

  13. y_hat1=kmeans.fit_predict(x)

  14. y_hat1[y_hat1==0]=3

  15. y_hat1[y_hat1==1]=0

  16. y_hat1[y_hat1==3]=1

  17. mu1=np.array([np.mean(x[y_hat1 == i], axis=0) for i in range(3)])

  18. print 'K-Means均值 = \n', mu1

  19. print '分类正确率为',np.mean(y_hat1==y)

  20. gmm=GaussianMixture(n_components=3,covariance_type='full', random_state=0)

  21. gmm.fit(x)

  22. print 'GMM均值 = \n', gmm.means_

  23. y_hat2=gmm.predict(x)

  24. y_hat2[y_hat2==1]=3

  25. y_hat2[y_hat2==2]=1

  26. y_hat2[y_hat2==3]=2

  27. print '分类正确率为',np.mean(y_hat2==y)

输出结果为

实际均值 =

[[5.006  3.418]

 [ 5.936 2.77 ]

 [ 6.588 2.974]]

K-Means均值 =

[[5.006       3.418     ]

 [ 5.77358491 2.69245283]

 [ 6.81276596 3.07446809]]

分类正确率为 0.82

GMM均值 =

[[5.01494511  3.44040237]

 [ 6.69225795 3.03018616]

 [ 5.90652226 2.74740414]]

分类正确率为 0.786666666667

啊,这样的结果还是比较让人满意的,甚至比前面的一些监督学习的结果还要好一些……另外,标签不一致的问题我这里采用的是最蠢的手动调整,大家当然可以根据你算出的均值矩阵每行与原始均值矩阵哪行的距离最小,确定它在原始数据中的标签自动调整,这当然是OK的,我这里偷一点懒。

【机器学习】期望最大化(EM)算法 EM算法是一种从不完全数据或有数据丢失的数据集(存在隐变量)中求解概率模型参数的最大似然估计方法。第一步求隐变量的期望(E)第二步求似然函数极大(M)EM算法在一般情况是收敛的,但是不保证收敛到全局最优,即有可能进入局部的最优。应用到的地方:混合高斯HMM模型、隐马尔科夫模型、混合朴素贝叶斯模型等。 阅读详情

相关推荐

王小草【机器学习】笔记--EM算法

标签(空格分隔): 王小草机器学习笔记EM算法的英文全称是Expectation Maximization Algorithm,也就是求期望最大化,也就是我们常说的目标函数求最大值的算法。EM算法,直观的说,就是有一堆未知的数据(比如一些特征值),这些数据可能来自于不同的类别,而你想知道的是每一个数据都来自于哪个类别,并且知道来自于这个类别的概率是多少。而在EM算法看来,每一个类别中的数据必然服从了

【人工智能】王小草的博客 5790

用高斯分布模型(GMM)对输入进行概率预测

用高斯分布模型(GMM)对输入进行概率预测,输出概率列表,与给定阈值进行比较,最后输出符合条件的下标 a = torch.randn(5,1) print(a) gmm = GaussianMixture(n_components=2, max_iter=10, tol=1e-2, reg_covar=5e-4) gmm.fit(a) prob = gmm.predict_proba(a) print(prob) print(gmm.means_) means = gmm.means_.argmin()

每日提升一点点 2621

EM算法与GMM的训练应用

注:本文主要参考Andrew Ng的Lecture notes 8,并结合自己的理解和扩展完成。本文有的数学推导过程并不是那么的严密,主要原因是本文的目的在于理解原理,若数学推导过于严密则文章会过于冗长。GMM简介GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉等领域有着广泛的应用。其典型的应用有概率密度估计、背景建模、聚类等。图1 GMM用于聚类图2 GM

he___的专栏 5625

机器学习算法之GMM模型

作者:RayChiu_Labloy 版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处 单高斯分布GM估计参数 关于高斯分布 高尔顿钉板 自然界中,很多事物的取值服从高斯分布。如高尔顿钉板: 每次弹珠往下走的时候,碰到钉子会随机往左还是往右走,可以观测到多次随机过程结合的结果趋近于正太分布。 单维高斯概率密度函数 其中表示均值,表示方差。 单维高斯GM参数估计过程 我们的方法是...

RayChiu757374816的博客 6018

混合高斯模型(GMM)实现

混合高斯模型(Mixtures of Gaussians) 多值高斯分布,用到了期望最大化算法(Expectation-Maximization)来进行密度估计。 说一下EM的思想: 第一步猜测隐含类别变量,第二步是更新调整参数,以获得最大的似然估计。 关于算法的详细思想和推导,请见本文的参考文献。   以下是程序的代码: function v

风吹夏天的专栏 2185

混合高斯模型GMM在图像分割中的C++实现

htmltable {th, td {th {pre {简介:图像分割是计算机视觉中的重要环节,混合高斯模型(GMM)特别适合处理复杂背景和多颜色分布的图像。本篇文章详细阐述了GMM在C++中的实现方法和图像分割的应用,包括GMM的原理、参数估计、与图像分割的关系,以及使用OpenCV库在C++中实现GMM图像分割的步骤。文章还探讨了GMM图像分割的实际应用和面临的挑战。

weixin_31591833的博客 1212

gmm em详细步骤_gmm附录m的em步骤全导数

gmm em详细步骤This article is an extension of “Gaussian Mixture Models and Expectation-Maximization (A full explanation)”. If you didn’t read it, this article might not be very useful.本文是“高斯混合模型和期望最大化(全面解...

weixin_26729763的博客 672

GMM与EM算法实现的2分类实践项目

对于一个高斯分布,其概率密度函数(PDF)由以下公式定义:其中x是观测数据点,μ是高斯分布的均值向量,Σ是协方差矩阵,d是数据的维度,|Σ|表示协方差矩阵的行列式。一个GMM由K个这样的高斯分布组成,每个分布都对应一个混合系数π_i。GMM的EM算法实现可以分为几个主要部分:数据准备、模型初始化、E步、M步、迭代终止判断和模型评估。下面是一个简化的代码框架:# 数据准备# 假设数据已经被加载到变量data中,类型为numpy数组# 模型初始化# 训练模型# 模型评估(可选)

weixin_42124497的博客 969

从最大似然到EM算法浅解

从最大似然到EM算法浅解 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题。神为什么是神,因为神能做很多人做不了的事。那么EM算法能解决什么问题呢?或者说EM算法是因为什么而来到这个世界

zouxy09的专栏 41万+

Windowns下Git环境配置-命令行方式

文章目录一、配置Git1.1 下载Git并安装1.2 配置本地Git用户名和邮箱1.3 注册GitHub二、生成本地公钥,放到GitHub上-SSH Key2.1 生成本地公钥命令2.2 查看生成的公钥2.3 在GitHub放上公钥并测试连通性三、创建项目实操四、可能出现的问题4.1.push不成功4.2.提示SSL的问题4.3.域名不能解析的问题4.4.如果github连接不上的问题 一、配置Git 1.1 下载Git并安装 Git官网 默认安装,根据需要修改安装路径 1.2 配置本地Git用户名和邮箱

学习工作笔记 1138

告别有线:用PVE直通无线网卡,打造一台真正的‘无线’Win10软路由/测试机

本文详细介绍了如何通过PVE直通无线网卡技术,构建全无线Win10软路由或测试机。从硬件选型、PVE环境配置到PCIe和USB双模直通技术,逐步指导实现Wi-Fi AP和蓝牙连接功能,为家庭实验室和小型办公环境提供灵活高效的网络解决方案。

weixin_28683689的博客 588

说话人识别之GMM-UBM系统

GMM-UBM, 最经典代表作: Speaker Verification Using Adapted Gaussian Mixture Models 每个人的声音都有独特的特征,这个特征由两个音素决定: 1. 声腔的尺寸 2. 发声器官被操纵的方式 这些因素使得声音变得独一无二 一:说话人识别流程 先进行特征提取,然后训练模型,最后是打分判决. 这其中特征提取包括 预加重,分帧加窗,傅里叶变换...

taw19960426的博客 6611

一文吃透:从零到一开发一套 ABAP RAP 应用的完整路径

ABAP RAP开发实战摘要 本文系统介绍了ABAP RESTful Application Programming Model (RAP)在企业级应用开发中的实施路径。文章以出差申请业务场景为例,详细拆解了RAP开发的六步主线流程: 数据库表设计:规范主键、审计字段设计 CDS数据建模:通过视图定义业务对象实体及关联 行为定义与实现:使用BDEF声明事务规则,Behavior Pool类实现业务逻辑 业务对象投影:裁剪服务接口视图 服务定义与绑定:按OData协议暴露服务 UI集成测试:支持Fiori E

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 515

GMM混合高斯模型的EM算法及Python实现

GMM(混合高斯模型)的EM算法1.算法理论p(x)=∑Kk=1πkN(x|μk,εk)p(x)=\sum_{k=1}^{K}{\pi_{k}N(x|\mu _{k},\varepsilon _{k})}N(x|μk,εk)=1(2π)d|εk|√exp(−12(xi−μk)Tε−1k(xi−μk))N(x|\mu _{k},\varepsilon _{k})=\frac{1}{\sqrt{(2\p

zhangwei15hh的博客 1万+

Qt/C++ 音视频开发 - FFmpeg 安卓版

通过将 FFmpeg 集成到 Qt/C++ 项目中,我们可以实现强大且灵活的音视频处理功能。本文介绍了在安卓平台上使用 FFmpeg 的基本步骤,包括初始化、解码、处理和编码等。实际应用代码示例展示了如何在安卓设备上播放视频。

走向CTO的路上... 1194

Buck电源设计常见的一些问题(四)MOS管振荡抑制方法(二)

另一方面,开关振铃为远超开关频率的高频振铃,并伴随很高的 dV/dt,会带来传导和辐射的 EMI 问题,可能会使得终端产品不能通过 EMI 标准测试,更严重时甚至会干扰开关电源自身的信号电路或临近的其他功能电路的正常工作。选用二极管反向特性好的器件;该电路可等效成图 3 中 LC 谐振电路,新的 LR和 CR为 Lp1、Lp5,Lp3, Lp4, CD等所有参与振铃的寄生感容的复合值。通常 Snubber 的 Csnub取值在数 nF 以上,在振铃频率 fR(加了 snubber 后)下的阻抗很小。

小幽余生不加糖 2894

GMM混合高斯模型理论基础(基于EM算法)

我们谈到了用 k-means 进行聚类的方法,这次我们来说一下另一个很流行的算法:Gaussian Mixture Model (GMM)。事实上,GMM 和 k-means 很像,不过 GMM 是学习出一些概率密度函数来(所以 GMM 除了用在 clustering 上之外,还经常被用于 density estimation ),简单地说,k-means 的结果是每个数据点被 assign 到其

木东的博客 2484

cartographer实现纯定位

实现纯定位 (1)因为正常的cartographer的建图的map是由cartographer发布的;如下 rostopic info /map Type: nav_msgs/OccupancyGrid Publishers: * /cartographer_occupancy_grid_node 因此需要把map的发布替换成 <node name="map_server" pkg="map_server" type="map_server" args="/home/lx.

Studying…… 5888

十大机器学习算法(五)——无监督聚类算法 EM 聚类算法(以及GMM)

无监督聚类学习 EM 主要流程:初始化参数 —>> 观察预期结果 —>> 存在误差?重新估计参数 极大似然估计

AwesomeDong的博客 1111

编写一个程序实现顺序表的各种基本运算(假设顺序表的元数基本类型为Char)

/* *Copyright (c) 2016, 烟台大学计算机学院 *All rights reserved. *文件名称:main.cpp *作者:张旺华 *完成日期: 2016 年 7 月 1 日 *版本号:v1.0 *问题描述:编写一个程序实现顺序表的各种基本运算(假设顺序表的元数基本类型为Char) * */ #include #include #include

张旺华的博客 1万+

❤️爆肝十二万字《python从零到精通教程》,从零教你变大佬❤️(建议收藏)

文章目录强烈推荐系列教程,建议学起来!!一.pycharm下载安装二.python下载安装三.pycharm上配置python四.配置镜像源让你下载嗖嗖的快4.1pycharm内部配置4.2手动添加镜像源4.3永久配置镜像源五.插件安装(比如汉化?)5.1自动补码神器第一款5.2汉化pycharm5.3其它插件六.美女背景七.自定义脚本开头八、这个前言一定要看九、python入门十、python缩进十一、Python注释1.单行注释2.多行注释十二、Python 变量1.变量定义理解2. 变量名命名3. 分

全栈川川 26万+

gmm中隐变量是什么的_机器学习(十):EM算法与GMM算法原理及案例分析

一、简介EM算法最大期望算法(Expectation-maximization algorithm,简称EM,又译期望最大化算法)在统计中被用于寻找依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐性变量。最大期望算法经常用在机器学习和计算机视觉得数据聚类领域。EM算法...

weixin_34012355的博客 869

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

em算法 实例 正态分布_机器学习(十):EM算法与GMM算法原理及案例分析

一、简介EM算法最大期望算法(Expectation-maximization algorithm,简称EM,又译期望最大化算法)在统计中被用于寻找依赖于不可观察的隐性变量的概率模型中,参数的最大似然估计。在统计计算中,最大期望(EM)算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐性变量。最大期望算法经常用在机器学习和计算机视觉得数据聚类领域。EM算法...

weixin_39933724的博客 864

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

GMM的EM算法

在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering,Ncut一文中我们给出了GMM算法的基本模型与似然函数,在EM算法原理中对EM算法的实现与收敛性证明进行了具体说明。本文主要针对怎样用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GMM模型:每一个 GMM 由 K个 Gaussian 分布组成。每一个 Gaussia...

aofan9566的博客 160

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

HMM study:认识混合高斯模型与EM算法(附Python仿真)

混合高斯模型 Gaussian Mixed Model 表示多个高斯分布的线性组合,设有随机变量X\textbf{X}X,则混合高斯模型表示如下p(x)=∑k=1KπkN(x/μk,∑k)p(\textbf{x})=\sum_{k=1}^K \pi_kN(x/\mu_k,\sum_k)p(x)=∑k=1K​πk​N(x/μk​,∑k​)其中πk\pi_kπk​可以认为是高斯分布的权重,N(x/μk...

TiffanyXYf的博客 1164
上一篇: 一维高斯混合模型EM算法实现
下一篇: EM算法实例通俗讲解
It_BeeCoder
博客等级 码龄10年 967粉丝 238原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值