EM算法的简单解释

最新推荐文章于 2020-11-21 21:24:44 发布
原创 最新推荐文章于 2020-11-21 21:24:44 发布 · 537 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

食堂的大师傅炒了一份菜，要等分成两份给两个人吃——显然没有必要拿来天平一点一点的精确的去称分量，最简单的办法是先随意的把菜分到两个碗中，然后观察是否一样多，把比较多的那一份取出一点放到另一个碗中，这个过程一直迭代地执行下去，直到大家看不出两个碗所容纳的菜有什么分量上的不同为止


EM算法就是这样，假设我们估计知道A和B两个参数，在开始状态下二者都是未知的，并且知道了A的信息就可以得到B的信息，反过来知道了B也就得到了A。可以考虑首先赋予A某种初值，以此得到B的估计值，然后从B的当前值出发，重新估计A的取值，这个过程一直持续到收敛为止。


在概率和统计学中，一个随机变量的期望值是变量的输出值乘以其机率的总和，换句话说，期望值是该变量输出值的平均数

 如果X是在概率空间（Ω, P）中的一个随机变量，那么它的期望值E[X]的定义是

E[X] = ∫ΩX dP

 离散：E X =

【大道至简】机器学习算法之EM算法(Expectation Maximization Algorithm)详解(附代码)---通俗理解EM算法。
尚拙的博客
10-25 2万+
通过上面的分析，我们终于可以总结一下EM算法啦！总的来说，EM算法分为E步和M步：（1）给参数θ即第0步赋初值；（2）如果是第一轮迭代，那么令θ=来计算Q函数；如果是>1轮迭代，则θ的值由上一次M步计算出的θ值决定。由于E步时θ已知，所以只需要计算Q，公式如下：也就是给定θ和已知的观测数据x的条件下，求一下隐变量z的条件概率。（3）根据E步计算出来的Q，按如下公式计算θ：也就是固定Q（z也固定）和已知的观测数据x，算一下θ。（4）重复（3）和（4）直至收敛。
EM算法进行图像分割
12-10
最大期望算法 EM（expectation-maximization）算法主要是用于在不完全数据的情况下计算最大似然估计。在EM算法正式提出以来，人们对EM算法的性质有更加深入的研究。EM算法在数理统计，数据挖掘，机器学习以及模式识别等领域有广泛的应用。
EM算法 大白话讲解
aig8440的博客
01-21 195
假设有一堆数据点,它是由两个线性模型产生的。公式如下： 模型参数为a,b,n：a为线性权值或斜率，b为常数偏置量，n为误差或者噪声。 一方面，假如我们被告知这两个模型的参数，则我们可以计算出损失。 对于第i个数据点，第k个模型会预测它的结果 则，与真实结果的差或者损失记为： 目标是最小化这个误差。 但是仍然不知道具体哪些数据由对应的哪个模型产生的(缺失的信息)。 ...
简单易学的机器学习算法——EM算法
XYYHLark01的博客
04-06 283
https://blog.youkuaiyun.com/google19890102/article/details/46431715
EM 算法
bluenight专栏
02-14 1477
EM算法如何呢？比如说食堂的大师傅炒了一份菜，要等分成两份给两个人吃，显然没有必要拿来天平一点一点的精确的去称分量，最简单的办法是先随意的把菜分到两个碗中，然后观察是否一样多，把比较多的那一份取出一点放到另一个碗中，这个过程一直迭代地执行下去，直到大家看不出两个碗所容纳的菜有什么分量上的不同为止。EM算法就是这样，假设我们估计知道A和B两个参数，在开始状态下二者都是未知的，并且知道了A的信息就可以
em算法的通俗解释
qq_41795577的博客
03-07 371
比如你一位同学和一位猎人一起外出打猎，一只野兔从前方窜过。只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于你那位同学命中的概率，从而推断出这一枪应该是猎人射中的。 一个袋子中总共有黑白两种颜色100个球，其中一种颜色90个，随机取出一个球，发现是黑球。那么是黑色球90个？还是白色球90个？随机抽取一个球，是黑色的，说明黑色抽中...
简单写写EM算法
liming861206的博客
04-28 265
简单写写EM算法有数据集x1,x2,x3,…,xnx_1,x_2,x_3,\ldots ,x_n ，假设他们的分布由参数θ\theta 决定，依照极大似然的思想，即为： θ:=argmaxθ∑i=1nlnp(xi;θ)\theta := arg \max_{\theta} \sum_{i=1}^n \ln p(x_i;\theta)假设数据样本xix_i 可能来源于不同类别 z1,z2,…,zkz
EM算法详细简单解释
09-18
### EM算法详细简单解释 #### 一、引言与背景 在统计学和机器学习领域，**期望最大化（Expectation-Maximization，简称EM）算法** 是一种非常强大的工具，用于处理包含隐变量的概率模型估计问题。EM算法的核心思想...
精选资源
EM算法_buriedgz9_EM算法_EM_EM算法贝叶斯_稀疏贝叶斯
09-10
EM算法，全称为期望最大化（Expectation-Maximization），是一种在概率模型中寻找参数最大似然估计的迭代方法。在处理含有隐藏变量的概率模型时，EM算法能够有效地找到使得数据似然函数最大的参数值。这一算法由...
精选资源
EM_阈值分割_EM算法_EM阈值_EM算法图像_图像分割_
10-03
EM算法，全称为Expectation-Maximization（最大期望算法），是一种在统计学和机器学习领域广泛应用的迭代算法，尤其在处理含有隐变量的概率模型时表现出强大的能力。在图像处理领域，EM算法常被用于图像分割任务，...
精选资源
MCMC和EM算法.pdf
03-11
MCMC 和 EM 算法 MCMC（Markov Chain Monte Carlo）和 EM（Expectation-Maximization）算法是机器学习和数据分析中常用的两个重要算法。MCMC 算法是一种 Monte Carlo 方法，用于近似计算复杂的积分和概率分布，广泛...
EM算法通俗理解及数学推导
qq_39967296的博客
05-15 721
1、EM，exception maximum.用于非监督分类的学习方法。 EM算法的思想：非监督学习中，只有数据、不知道数据属于什么参数（均值、方差）的高斯分布、不知道数据的类别标签，EM将各“类别”的高斯分布参数作为未知，最大化获得该组样本的概率。假设每个样本独立分布，获取该样本的概率为q 则获取该组样本的概率为： 通过最大似然，得到目标函数为 。 公式推导如下： 方法本身原理为坐标上升法，即（...
白话EM算法
Abner
09-04 897
EM算法其实就是一种函数的近似求解方法，它是一种迭代算法，在很多算法中都有着重要的应用，比如HMM的学习问题，GMM，语音识别中的MM-GMM以及主题模型PLSA等等，所以掌握EM的求解方式还是很必要的。本文参考李航博士的《统计学习方法》，但前提是需要了解EM以及高斯混合分布的基本概念，我不从最基础说起，希望能说的明白。 EM算法可以解决极大似然估计参数的求解方法，只不过当问题的分布包含一个隐藏...
EM 算法 的简单理解
xyqzki的专栏
09-15 1733
ref:   1.  什么是EM算法？ EM算法是机器学习中一个很重要的算法，即期望最大化算法，主要包括以下两个步骤： E步骤：estimate the expected values M步骤：re-estimate parameters 这个算法的主要作用在于对参数的估计上。虽然EM算法也可以进行数据聚类，并且基于混合高斯分布进行数据拟合，但是由于EM算法进行迭代速度很慢，比
EM算法
RounrounZhang的博客
01-16 370
1.与极大似然估计的关系： 极大似然估计：已知结果和概率分布估计概率分布的参数 θθ\theta EM算法：已知结果估计概率分布的参数 θθ\theta，EM算法是含有隐变量的概率模型参数的极大似然估计法。   一般的用Y表示观测随机变量的数据，Z表示隐随机变量的数据。Y和Z连在一起称为完全数据，观测数据Y称为不完全数据。   假设给定观测数据Y,其概率分布是P(Y | θθ\theta)...
EM算法 --入门级详解
qq_45116974的博客
11-21 3283
前段时间在机器学习课上学习了em算法，看了很多博主大大的讲解，再加上自己的理解，把对em算法的简单认识概括一下。 EM算法简单来说就是一种迭代优化策略，由于它的计算方法中每一次迭代都分两步，其中一个为求期望步（E步），另一个为求极大值步M步），所以算法被称为EM算法（Expectation Maximization Algorithm）。EM算法适用于求解那些含有隐变量的问题，也就是说你待求解的样本中含有无法观测到的记录值。要学习EM算法，我们需要先了解两个概念：极大似然估计和Jensen不等式。 .
用通俗易懂的方式告诉你什么是EM算法
Machine Learning with Tutors
02-03 1万+
EM(Expectation Mmaximization) 是一种迭代算法， 用于含隐变量(Latent Variable) 的概率模型参数的极大似然估计， 或极大后验概率估计 EM算法由两步组成， 求期望的E步，和求极大的M步。EM算法可以看成是特殊情况下计算极大似然的一种算法。现实的数据经常有一些比较奇怪的问题，比如缺失数据、含有隐变量等问题。当这些问题出现的时候，计算极大似然函数通常是比较困难的，而EM算法可以解决这个问题。EM算法已经有很多应用，比如最经典的Hidden Markov模型等。
大白话EM算法--从此爱上EM迭代
04-07
本系列讲解EM及GMM相关知识点，让你对ＥＭ整理流程有清晰的认识，从而应用到工作和面试中。目录如下：1.1EM算法之回顾最大似然估计1.2EM算法之回顾贝叶斯估计1.3EM算法之回顾K-means算法1.4EM算法之算法目标引入1.5EM算法之目标函数转换--利用Jensen不等式1.6EM算法之目标函数求解--关于Q(z, θ)的表达1.7EM算法流程1.8EM算法案例1.9EM算法应用之GMM(高斯混合模型)的目标函数表示1.10EM算法应用之GMM(高斯混合模型)的迭代过程1.11EM算法代码之手动实现GMM迭代过程1.12EM算法代码之基于sklearn身高性别数据GMM高斯混合聚类实现
从最大似然到EM算法浅解
热门推荐
zouxy09的专栏
01-24 41万+
从最大似然到EM算法浅解 zouxy09@qq.com http://blog.youkuaiyun.com/zouxy09 机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界
em算法简单应用实例
最新发布
03-22
### EM算法的简单应用实例 EM（Expectation-Maximization）算法是一种迭代优化方法，广泛应用于含有隐变量的概率模型参数估计问题中。以下是基于提供的参考资料以及专业知识的一个简单应用实例。 #### 应用场景描述 假设有一组数据样本 \(X\) 来自两个高斯分布的混合模型 (Gaussian Mixture Model, GMM)，但不知道每个样本属于哪个高斯分布。目标是通过最大似然估计来求解这两个高斯分布的均值 \(\mu_1\), \(\mu_2\) 和方差 \(\sigma_1^2\), \(\sigma_2^2\) 的最佳参数组合[^1]。 --- #### 实现过程概述 EM算法分为两步：E-step（期望步）和M-step（最大化步）。 - **E-step**: 计算给定当前参数下，每个样本属于不同类别的概率。 - **M-step**: 基于这些概率重新计算新的参数以使似然函数最大化。 下面给出具体的Python代码实现： ```python import numpy as np from scipy.stats import norm def em_algorithm(data, mu_init, sigma_init, pi_init, tol=1e-6, max_iter=100): """ 使用EM算法拟合高斯混合模型 参数: data: 输入的数据集 (numpy array) mu_init: 初始均值猜测 [μ₁, μ₂] sigma_init: 初始标准差猜测 [σ₁, σ₂] pi_init: 初始类别权重 [π₁, π₂] tol: 收敛阈值 max_iter: 最大迭代次数 返回: mu_final: 最终均值 [μ₁*, μ₂*] sigma_final: 最终标准差 [σ₁*, σ₂*] pi_final: 最终权重 [π₁*, π₂*] """ mu = np.array(mu_init).copy() sigma = np.array(sigma_init).copy() pi = np.array(pi_init).copy() log_likelihood_prev = float('inf') for _ in range(max_iter): # E-step: Compute responsibilities resp = [] for k in range(2): # Assuming two components likelihood_k = norm.pdf(data, loc=mu[k], scale=sigma[k]) marginal_likelihood = sum([pi[j]*norm.pdf(data, loc=mu[j], scale=sigma[j]) for j in range(2)]) responsibility_k = (pi[k] * likelihood_k) / marginal_likelihood resp.append(responsibility_k) resp = np.vstack(resp).T # Shape: (n_samples, n_components) # M-step: Update parameters Nk = np.sum(resp, axis=0) # Effective number of points assigned to each component pi_new = Nk / len(data) mu_new = np.dot(resp.T, data) / Nk[:, None].flatten() # Weighted mean by responsibilities sigma_new = np.sqrt(np.dot(resp.T, (data - mu)**2) / Nk[:, None]).flatten() # Weighted variance # Update values mu = mu_new.copy() sigma = sigma_new.copy() pi = pi_new.copy() # Calculate new log-likelihood log_likelihood = np.log(sum([pi[j]*norm.pdf(data, loc=mu[j], scale=sigma[j]) for j in range(2)])).sum() # Check convergence if abs(log_likelihood - log_likelihood_prev) < tol: break log_likelihood_prev = log_likelihood return mu, sigma, pi # Example usage with synthetic dataset np.random.seed(42) true_mu = [1.5, 5.0] true_sigma = [0.8, 1.2] weights = [0.4, 0.6] samples_component1 = np.random.normal(true_mu[0], true_sigma[0], int(weights[0]*100)) samples_component2 = np.random.normal(true_mu[1], true_sigma[1], int(weights[1]*100)) data = np.concatenate((samples_component1, samples_component2)) initial_guesses = { 'mu': [1.0, 4.0], 'sigma': [1.0, 1.0], 'pi': [0.5, 0.5] } estimated_params = em_algorithm(data, initial_guesses['mu'], initial_guesses['sigma'], initial_guesses['pi']) print(f"Estimated Parameters:\nMu={estimated_params[0]}, Sigma={estimated_params[1]}, Pi={estimated_params[2]}") ``` 上述代码展示了如何利用EM算法对一个简单的二维高斯混合模型进行参数估计[^2]。 --- #### 结果解释 运行以上程序后，可以获得接近真实值的最佳参数估计结果。这表明即使初始条件不理想，经过多次迭代之后仍能逼近全局最优解[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值