机器学习概念：最大后验概率估计与最大似然估计 （Maximum posterior probability and maximum likelihood estimation)

最新推荐文章于 2024-11-26 18:40:42 发布
最新推荐文章于 2024-11-26 18:40:42 发布
阅读量1.6k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011467621/article/details/50040427
本文介绍了机器学习中的最大后验概率（MAP）估计与最大似然估计（MLE）的概念。最大似然估计通过最大化观测数据的采样分布来估计参数。而在贝叶斯理论中，MAP考虑了参数的先验分布，可以视为MLE加上正则化的形式，正则化项与先验分布密切关联。

joey 周琦

假设有参数θ, 观测x, 设f(x|θ)是变量x的采样分布，

最低0.47元/天 解锁文章

新学期VIP享超值加赠
最大后验概率估计与神经网络的结合
AI天才研究院
12-22 159
1.背景介绍 最大后验概率估计（Maximum A Posteriori, MAP）是一种常用的概率模型学习方法，它通过最大化后验概率估计（Maximum A Posteriori Estimation, MAP Estimation）来估计模型参数。在过去的几年里，随着深度学习和神经网络技术的发展，许多研究人员和实践者都关注如何将最大后验概率估计与神
详解最大似然估计（MLE）、最大后验概率估计（MAP），以及贝叶斯公式的理解
zdaiot的博客
09-30 1512
最大似然估计（Maximum likelihood estimation, 简称MLE）和最大后验概率估计（Maximum a posteriori estimation, 简称MAP）是很常用的两种参数估计方法，如果不理解这两种方法的思路，很容易弄混它们。下文将详细说明MLE和MAP的思路与区别。 但别急，我们先从概率和统计的区别讲起。 概率和统计是一个东西吗？ 概率（probabilty）和统...
最大后验（英文为Maximum a posteriori，
仰望星空的麦兜
03-10 1396
在统计学中，最大后验（英文为Maximum a posteriori，缩写为MAP）估计方法根据经验数据获得对难以观察的量的点估计。它与最大似然估计中的 Fisher 方法有密切关系，但是它使用了一个增大的优化目标，这种方法将被估计量的先验分布融合到其中。所以最大后验估计可以看作是规则化（regularization）的最大似然估计。 假设我们需要根据观察数据 x 估计没有观察到的总体参数 
深度探索：机器学习中的大后验概率（Maximum A Posteriori, MAP）算法原理及其应用
qq_51320133的博客
04-18 2161
MAP 算法作为贝叶斯统计推断的重要工具，在诸多机器学习任务中展现出强大的实用性与灵活性。其优点在于能有效融合先验知识与数据证据，尤其适用于数据稀疏、存在噪声或需要利用领域知识指导模型训练的场景。然而，MAP 算法也存在对先验选择敏感、仅提供单点估计以及可能陷入局部最优等局限性。 未来，随着计算能力的提升和优化算法的发展，MAP 算法有望在处理大规模、高维度问题以及复杂模型上取得更大突破。同时，结合现代深度学习框架，研究者可能会探索将MAP思想融入神经网络训练，以增强模型的泛化能力和解释性。此外，更智能的
论文研究-Bayesian Maximum A Posterior DOA Estimator Based on Importance Sampling.pdf
08-19
基于重要性采样的贝叶斯DOA估计，谢达，黄建国，本文为减小贝叶斯DOA估计方法的计算量，将重要性采样与贝叶斯方法相结合，提出了基于重要性采样的贝叶斯最大后验DOA估计方法，并给
【数学基础】参数估计之最大后验估计（Maximum A Posteriori，MAP）
qq_32742009的博客
08-07 2万+
前言，MLE与MAP的联系 在前一篇文章参数估计之极大似然估计中提到过频率学派和贝叶斯学派的区别。如下图 在极大似然估计（MLE）中，我们求参数，通过使得似然函数最大，此时为一个待估参数，其本身是确定的，即使目前未知。 MLE求的是怎样的参数可以让事件集发生的概率最大。通过不断改变固定的参数去寻找一个极大值。 在最大后验估计（MAP）中，引用贝叶斯学派的思想，将参数看成一个随机变量...
最大似然估计
hrbeuwhw的专栏
01-31 1265
最近在看深度学习的"花书" （也就是Ian Goodfellow那本了），第五章机器学习基础部分的解释很精华，对比PRML少了很多复杂的推理，比较适合闲暇的时候翻开看看。今天准备写一写很多童鞋们w未必完全理解的最大似然估计的部分。 单纯从原理上来说，最大似然估计并不是一个非常难以理解的东西。最大似然估计不过就是评估模型好坏的方式，它是很多种不同评估方式中的一种。未来准备写一写最大似然估计与它
机器学习相关的参数估计 (PARAMETER ESTIMATION)的方法
最新发布
线粒体小亚的空间
11-26 1142
机器学习相关的参数估计 (PARAMETER ESTIMATION)的方法
机器学习模型身后的数学和统计背景：统计与信息论Probability and Information Theory
八门金锁的技术博客
12-08 463
术语 样本空间(sample space)：Ω\OmegaΩ，包含了所有可能出现的结果的集合。比如在掷一次骰子的样本空间可以用{1,2,3,4,5,6}表示。 事件集(event space): FFF，a collection of subsets of Ω\OmegaΩ，用来表示出现的结果。事件集未必是样本空间中的单一元素，也可以是复杂元素。比如在掷一次骰子的样本空间中，可以用{1,3,5}表示结果为奇数的事件。 概率函数(probability function): PPP，该函数完成了从事件到该事件
从贝叶斯公式到 MAP（Maximum A Posterior，最大后验）
12-29 5568
基本形式 P(θ|D)=P(θ)P(D|θ)P(D) P(\theta|\mathcal{D})=\frac{P(\theta)P(\mathcal{D}|\theta)}{P(\mathcal{D})} P(θ|D)P(\theta|\mathcal{D})：后验概率，posterior P(θ)P(\theta)：先验概率，prior P(θ|D)P(\theta|\mathcal{D})：似
最大后验（Maximum a Posteriori，MAP）概率估计详解
热门推荐
fq_wallow的博客
02-20 3万+
最大后验（Maximum A Posteriori，MAP）估计可以利用经验数据获得对未观测量的点态估计。它与Fisher的**最（极）大似然估计**（Maximum Likelihood，ML）方法相近，不同的是它扩充了优化的目标函数，其中融合了预估计量的先验分布信息，所以最大后验估计可以看作是正则化（regularized）的最大似然估计。
机器学习：最大似然估计与最大后验概率估计
weixin_30653023的博客
05-23 265
在机器学习领域，概率估计是经常用到的一种模型，而概率估计中，我们经常会看到两种估计模型，一种是最大似然估计，即 Maximum likelihood， 另外一种就是最大后验概率估计，即 Maximum posterior ， 两种模型可以由贝叶斯定理演化而来。 在介绍这两种模型之前，我们先来看一下贝叶斯定理: p(w|D)=p(D|w)p(w)p(D) ...
概率(probability)---似然(likelihood)的前世今生
XXX的博客
10-19 2931
概率–似然，这两个词在中文中貌似看不出啥关系。但是在英文里：probability和likelihood，在做阅读理解的时候，你可以认为他们是相同的单词，从而进行同义词替换。 但在数学的世界里，以这两个词为核心诞生的两个概念：概率函数和似然函数，却有着天差地别。 假如现在有个黑箱，里面放着白球和黑球，他们的比例是惟一的，但却只有上帝知道，但是上帝嘛肯定不告诉你。那么对我们人类来说，怎么才能知道黑箱里的黑白球比例呢？（或曰：每次从箱子里区一个球，是白球或者黑球的概率） 不知道上帝想什么，去估计上帝想什么，这就
Quasi- likelihood function
susan_wang1的博客
01-24 4468
Quasi-likelihood function
机器学习中的数学——点估计（四）：最大后验估计（Maximum Posteriori Probability，MAP）
冯·诺依曼
02-19 1万+
前面的文章我们已经讨论了频率派统计方法和基于估计单一值θ\thetaθ的方法，然后基于该估计作所有的预测。另一种方法是在做预测时会考虑所有可能的θ\thetaθ。后者属于贝叶斯统计的范畴。频率派的视角是真实参数θ\thetaθ是未知的定值，而点估计θ^\hat{\theta}θ^是考虑数据集上函数（可以看作随机的）的随机变量。 贝叶斯统计的视角完全不同。贝叶斯统计用概率反映知识状态的确定性程度。数据集能够被直接观测到，因此不是随机的。另一方面，真实参数θ\thetaθ是未知或不确定的，因此可以表示成随机变量
ICML 2022 | 基于Logit归一化的置信度校准方法
Paper weekly
08-12 2206
©作者 | 牟宇滔单位 | 北京邮电大学研究方向 | 自然语言理解神经网络经常出现过度自信问题（overconfidence），表现为对 in-distribution 和 out-of-distribution 的数据都产生比较高的概率置信度，这是 OOD 检测的一个最基础的概念。本文提出一种 Logit Normalization 方法，在训练过程中将 Logit 的...
【开放集检测OSR】《OPEN-SET RECOGNITION: A GOOD CLOSED-SET CLASSIFIER IS ALL YOU NEED?》详解
CV在读
12-10 3102
得到结论：模型做出“属于非以上类”决策的能力高度取决于在闭集分类中的准确性使用方法：通过提高闭集精读来提高OSR性能提出框架：SSB（Semantic Shift Benchmark）当我们说模型只是在对“未见过”的数据中进行低级特征的分布式转移时，意味着模型可能没有真正理解新类别的高级语义特征，而是依赖于在训练中学到的一些通用低级特征来进行分类。在这种情况下，模型可能会将新类别的图像与训练数据中的某些低级特征进行关联，而不是基于真正的高级语义理解。
Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles i
Jcyoung 的博客
08-08 845
处理异常物体检测问题中，常用的解决方法需要额外的数据库、重新训练网络或者建立生成模型，这些方法会引入额外的工作量、在推理时也会花费较大的时间。本文提出了一种方法，直接使用预训练网络的预测分数（logits）来检测未知物体。在使用预训练网络的预测分数的方法中，有三种基本方法。这些方法都使用了预测结果中不同类的分数，并设定阈值，进而判断样本是否属于OoD，或未知物体。比如当前阈值为0.7，网络对于某一样本的预测分数分别为，，不考虑未知物体，则我们预测该样本为输出分数中的最大值所对应的类，即苹果。......
【分布外检测】《Deep Anomaly Detection with Outlier Exposure》 ICLR‘19
chadlee
01-21 2359
利用异常数据集训练异常检测器，这种方法称为异常暴露（Outlier Exposure，OE）。这使异常检测器能够泛化和检测未见的异常。在大量自然语言处理以及小规模和大规模视觉任务的广泛实验中，文章发现Outlier Exposure可显着提高检测性能。 Outlier Exposure 所谓异常暴露，就是给异常检测器引入异常数据，让模型能从已有的异常数据中获得启发，从而能泛化出未曾见过的异常。 这篇文章只有一个公式，即模型引入OE后的优化目标： E(x,y)∼Din [L(f(x),y)+λEx′
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值