概率估计->似然估计->最大后验估计->贝叶斯估计

设事件 X X X

概率估计

   X X X可能性为: P ( X ) P(X) P(X)

似然估计

  在概率估计的情况下,多了一个不确定因素 θ \theta θ,这时 θ \theta θ是一个随机变量,再估计 P ( X = x ) P(X=x) P(X=x),就要多考虑 θ \theta θ的情况,似然估计就是类似穷举 θ \theta θ的可能性,当然似然估计使用梯度求极值,选择使 P ( X ) P(X) P(X)最大的 θ \theta θ,也就是找:
θ = a r g   m a x θ   P ( X ∣ θ ) \theta=\underset{\theta} {arg\ max} \ P(X|\theta) θ=θarg max P(Xθ)
这时的 m a x   P ( X ∣ θ ) {max} \ P(X|\theta) max P(Xθ)就是估计概率。

  若 θ \theta θ默认确定,也就是说 θ \theta θ是一个常量,概率估计为: P ( X ) = P ( X ∣ θ ) P(X)=P(X|\theta) P(X)=P(Xθ)

最大后验估计

  似然函数中 θ \theta θ虽然不确定,最大 θ \theta θ相对固定,不会变化,最大后验估计中的最大 θ \theta θ是会变化的,因此给定 θ \theta θ变量服从某一概率分布,这样就有估计概率为:
m a x   P ( X ∣ θ ) P ( θ ) max\ P(X|\theta)P(\theta) max P(Xθ)P(θ)
这还不是最大后验估计,最大后验估计估计的是参数,由于 P ( X ) P(X) P(X)确定了,固定的,想当于一个常量,变化的是 θ \theta θ,乘上常数,由贝叶斯公式,最大后验估计得:
P ( θ ∣ X ) = P ( X ∣ θ ) P ( θ ) P ( X ) P(\theta|X)=\frac{P(X|\theta)P(\theta)}{P(X)} P(θX)=P(X)P(Xθ)P(θ)
估计公式为:
θ = a r g   m a x θ   P ( θ ∣ X ) = a r g   m a x θ   P ( X ∣ θ ) P ( θ ) P ( X ) \theta=\underset{\theta} {arg\ max} \ P(\theta|X)=\underset{\theta} {arg\ max} \ \frac{P(X|\theta)P(\theta)}{P(X)} θ=θarg max P(θX)=θarg max P(X)P(Xθ)P(θ)

贝叶斯估计

  最大后验估计,限定了 P ( X ) P(X) P(X)已知的情况,在未知的情况下, P ( X ) P(X) P(X) θ \theta θ有关,可以计算出来,根据全概率公式有:
θ = a r g   m a x θ   P ( θ ∣ X ) = a r g   m a x θ   P ( X ∣ θ ) P ( θ ) ∑ Θ P ( X ∣ θ ) P ( θ ) \theta=\underset{\theta} {arg\ max} \ P(\theta|X)=\underset{\theta} {arg\ max} \ \frac{P(X|\theta)P(\theta)}{\sum_{\Theta} P(X|\theta)P(\theta) } θ=θarg max P(θX)=θarg max ΘP(Xθ)P(θ)P(Xθ)P(θ)
  贝叶斯跟前面的公式不一样需要计算的是所有 θ \theta θ
P ( θ ∣ X ) = P ( X ∣ θ ) P ( θ ) ∑ Θ P ( X ∣ θ ) P ( θ ) P(\theta|X)=\frac{P(X|\theta)P(\theta)}{\sum_{\Theta} P(X|\theta)P(\theta) } P(θX)=ΘP(Xθ)P(θ)P(Xθ)P(θ)
  计算出 θ \theta θ经验分布。然后根据经验分布预测样本出现的概率:
P ( x ~ ∣ X ) = ∑ Θ   P ( x ~ ∣ θ ) P ( θ ∣ X ) P( \widetilde x|X)=\sum_{\Theta}\ P( \widetilde x|\theta)P(\theta|X) P(x X)=Θ P(x θ)P(θX)

总结

  似然估计、贝叶斯估计和最大后验估计都是在不断加条件,使用时需要做出相应假设。例子,可以参考参考中的链接。

参考

  https://www.jianshu.com/p/9c153d82ba2d

说明

  参考文章写得比较好,看得懂,但没全懂,整理了一些,贝叶斯估计用的是积分形式,本人实在看不懂积分形式,无法理解这种形式,改成了求和形式。
  有问题欢迎留言指正,共同学习

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值