频率派vs贝叶斯派 —— MLE(最大似然估计) vs MAP(最大后验估计)

本文探讨了概率论中的频率派与贝叶斯派在参数估计上的不同方法——最大似然估计(MLE)和最大后验估计(MAP)。频率派认为参数是固定的,而贝叶斯派视参数为随机变量。通过举例解释了MLE和MAP的区别,强调了在不同样本量下,两者如何影响参数估计的准确性。在样本量不足时,MAP的先验知识更能反映实际情况,而随着样本量增加,两者趋于一致。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

这两天在重温概率论,发现以前学得挺粗糙的,竟然第一次知道概率论里还有频率派和贝叶斯派之分。。。代表就是MLE和MAP两种概率估计的方法

  1. 频率派 vs 贝叶斯派

在概率估计或者机器学习里的参数估计上,有两个方法,MLE(最大似然估计) 和MAP(最大后验估计),其实代表了概率论里的两个派别,频率派和贝叶斯派

往大里说,这两个派别代表了不同的世界观。频率派认为参数是客观存在不会改变的,虽然未知,但却是固定值;贝叶斯派则认为参数是随机值,因为不可能做完整的实验去确定,因此参数也可以有分布。
往小处说,频率派最常关心的是似然函数,他们认为直接用样本去计算出的概率就是真实的,而贝叶斯派最常关心的是后验分布,他们认为样本只是用来修正经验观点。

贝叶斯派因为所有的参数都是随机变量,都有分布,因此可以使用一些基于采样的方法 (如MCMC)使得我们更容易构建复杂模型。频率派的优点则是没有假设一个先验分布,因此更加客观,也更加无偏,在一些保守的领域(比如制药业、法律)比 贝叶斯方法更受到信任。

  1. MLE vs MAP

概率论里的参数估计两种方法MLE和MAP就代表了概率派和贝叶斯派的观点。
关于MLE前面研究过: https://blog.youkuaiyun.com/weixin_43909872/article/details/85255130

简单来说,MLE就是用现有样本直接去推导使这些样本出现概率最大的分布参数,因为概率派认为这个分布参数是固有的。
而MAP认为这个参数是一个随机变量,于是预设一个参数的概率分布,再用已有样本去修正这个预设(先验概率),得到最有利于样本出现的分布参数(后验概率),因为贝叶斯派认为没有一个固有的分布参数,随着多次观察我们只能去趋近那个最合理的分布参数

下面用最简单的离散型数据例子来解释一下:
例子:现在有100个球,黑白两色,不知道各有多少个,我们抽取(并放回)100次,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值