参数估计

本文深入解析参数估计原理,包括最大似然估计与贝叶斯估计,探讨如何从样本中推断未知分布参数,及其在不同场景下的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

参数估计是什么?
现在有一些样本x,假设他们服从某种分布(例如高斯分布),但是我们并不知道该分布的参数,我们通过这些样本估计出未知的参数,这就是参数估计。

有什么前提?
样本是独立同分布的,且训练样本足够充分
如果样本不是同一个分布,那么我们的假设(他们服从某种分布)就是错误的。
如果训练样本过少,估计出来的参数就会有偏差。

最大似然估计
反过来考虑,假设存在某个数据流满足高斯分布,我们从中抽出部分样本x,很直观的,我们可以用x的均值和方差来作为数据流的均值和方差的近似值,而当我们把样本的数量逼近无穷时,估计的参数值就收敛于真实值。
而当我们拥有样本x,并假设其满足某种分布时,同样可以用样本来估计参数值。

贝叶斯估计
最大似然估计仅仅使用了样本信息,而贝叶斯估计在其之上,又对参数进行了约束。
贝叶斯估计假设参数不再是一个固定的值,而是一个服从某种分布的变量,通过样本和参数的分布,对参数的值进行估计。
反过来考虑,假设存在某个数据流满足高斯分布,同时该高斯分布的参数值不是确定的,而是满足另一个高斯分布的随机变量。也就是说,每次对该数据流进行采样时,面对的都是一个随机的高斯分布,而该高斯分布的参数满足另外一个高斯分布。

递归
贝叶斯估计对样本的参数进行了约束,假设样本服从的分布的参数是随机变量,服从第二个分布,同样我们可以假设第二个分布的参数也是随机变量,服从第三个分布…由此可以嵌套若干层。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值