设事件 X X X
概率估计
X X X可能性为: P ( X ) P(X) P(X)
似然估计
在概率估计的情况下,多了一个不确定因素
θ
\theta
θ,这时
θ
\theta
θ是一个随机变量,再估计
P
(
X
=
x
)
P(X=x)
P(X=x),就要多考虑
θ
\theta
θ的情况,似然估计就是类似穷举
θ
\theta
θ的可能性,当然似然估计使用梯度求极值,选择使
P
(
X
)
P(X)
P(X)最大的
θ
\theta
θ,也就是找:
θ
=
a
r
g
m
a
x
θ
P
(
X
∣
θ
)
\theta=\underset{\theta} {arg\ max} \ P(X|\theta)
θ=θarg max P(X∣θ)
这时的
m
a
x
P
(
X
∣
θ
)
{max} \ P(X|\theta)
max P(X∣θ)就是估计概率。
若 θ \theta θ默认确定,也就是说 θ \theta θ是一个常量,概率估计为: P ( X ) = P ( X ∣ θ ) P(X)=P(X|\theta) P(X)=P(X∣θ)
最大后验估计
似然函数中
θ
\theta
θ虽然不确定,最大
θ
\theta
θ相对固定,不会变化,最大后验估计中的最大
θ
\theta
θ是会变化的,因此给定
θ
\theta
θ变量服从某一概率分布,这样就有估计概率为:
m
a
x
P
(
X
∣
θ
)
P
(
θ
)
max\ P(X|\theta)P(\theta)
max P(X∣θ)P(θ)
这还不是最大后验估计,最大后验估计估计的是参数,由于
P
(
X
)
P(X)
P(X)确定了,固定的,想当于一个常量,变化的是
θ
\theta
θ,乘上常数,由贝叶斯公式,最大后验估计得:
P
(
θ
∣
X
)
=
P
(
X
∣
θ
)
P
(
θ
)
P
(
X
)
P(\theta|X)=\frac{P(X|\theta)P(\theta)}{P(X)}
P(θ∣X)=P(X)P(X∣θ)P(θ)
估计公式为:
θ
=
a
r
g
m
a
x
θ
P
(
θ
∣
X
)
=
a
r
g
m
a
x
θ
P
(
X
∣
θ
)
P
(
θ
)
P
(
X
)
\theta=\underset{\theta} {arg\ max} \ P(\theta|X)=\underset{\theta} {arg\ max} \ \frac{P(X|\theta)P(\theta)}{P(X)}
θ=θarg max P(θ∣X)=θarg max P(X)P(X∣θ)P(θ)
贝叶斯估计
最大后验估计,限定了
P
(
X
)
P(X)
P(X)已知的情况,在未知的情况下,
P
(
X
)
P(X)
P(X)跟
θ
\theta
θ有关,可以计算出来,根据全概率公式有:
θ
=
a
r
g
m
a
x
θ
P
(
θ
∣
X
)
=
a
r
g
m
a
x
θ
P
(
X
∣
θ
)
P
(
θ
)
∑
Θ
P
(
X
∣
θ
)
P
(
θ
)
\theta=\underset{\theta} {arg\ max} \ P(\theta|X)=\underset{\theta} {arg\ max} \ \frac{P(X|\theta)P(\theta)}{\sum_{\Theta} P(X|\theta)P(\theta) }
θ=θarg max P(θ∣X)=θarg max ∑ΘP(X∣θ)P(θ)P(X∣θ)P(θ)
贝叶斯跟前面的公式不一样需要计算的是所有
θ
\theta
θ:
P
(
θ
∣
X
)
=
P
(
X
∣
θ
)
P
(
θ
)
∑
Θ
P
(
X
∣
θ
)
P
(
θ
)
P(\theta|X)=\frac{P(X|\theta)P(\theta)}{\sum_{\Theta} P(X|\theta)P(\theta) }
P(θ∣X)=∑ΘP(X∣θ)P(θ)P(X∣θ)P(θ)
计算出
θ
\theta
θ经验分布。然后根据经验分布预测样本出现的概率:
P
(
x
~
∣
X
)
=
∑
Θ
P
(
x
~
∣
θ
)
P
(
θ
∣
X
)
P( \widetilde x|X)=\sum_{\Theta}\ P( \widetilde x|\theta)P(\theta|X)
P(x
∣X)=Θ∑ P(x
∣θ)P(θ∣X)
总结
似然估计、贝叶斯估计和最大后验估计都是在不断加条件,使用时需要做出相应假设。例子,可以参考参考中的链接。
参考
https://www.jianshu.com/p/9c153d82ba2d
说明
参考文章写得比较好,看得懂,但没全懂,整理了一些,贝叶斯估计用的是积分形式,本人实在看不懂积分形式,无法理解这种形式,改成了求和形式。
有问题欢迎留言指正,共同学习