概率估计->似然估计->最大后验估计->贝叶斯估计

设事件$X$

概率估计

  $X$可能性为：$P(X)$

似然估计

  在概率估计的情况下，多了一个不确定因素$\theta$,这时$\theta$是一个随机变量，再估计$P(X=x)$，就要多考虑$\theta$的情况，似然估计就是类似穷举$\theta$的可能性，当然似然估计使用梯度求极值，选择使$P(X)$最大的$\theta$，也就是找：
$$\theta =\underset{\theta }{argmax}P(X|\theta )$$
这时的$maxP(X|\theta )$就是估计概率。

  若$\theta$默认确定，也就是说$\theta$是一个常量，概率估计为：$$P(X)=P(X|\theta )$$

最大后验估计

  似然函数中$\theta$虽然不确定，最大$\theta$相对固定，不会变化，最大后验估计中的最大$\theta$是会变化的，因此给定$\theta$变量服从某一概率分布，这样就有估计概率为：
$$maxP(X|\theta )P(\theta )$$
这还不是最大后验估计，最大后验估计估计的是参数，由于$P(X)$确定了,固定的，想当于一个常量，变化的是$\theta$，乘上常数，由贝叶斯公式，最大后验估计得：
$$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{P(X)}$$
估计公式为：
$$\theta =\underset{\theta }{argmax}P(\theta |X)=\underset{\theta }{argmax}\frac{P(X|\theta )P(\theta )}{P(X)}$$

贝叶斯估计

  最大后验估计，限定了$P(X)$已知的情况，在未知的情况下，$P(X)$跟$\theta$有关，可以计算出来，根据全概率公式有：
$$\theta =\underset{\theta }{argmax}P(\theta |X)=\underset{\theta }{argmax}\frac{P(X|\theta )P(\theta )}{{\sum }_{\Theta }P(X|\theta )P(\theta )}$$
  贝叶斯跟前面的公式不一样需要计算的是所有$\theta$：
$$P(\theta |X)=\frac{P(X|\theta )P(\theta )}{{\sum }_{\Theta }P(X|\theta )P(\theta )}$$
  计算出$\theta$经验分布。然后根据经验分布预测样本出现的概率：
$$P(x|X)=\sum _{\Theta }P(x|\theta )P(\theta |X)$$

总结

  似然估计、贝叶斯估计和最大后验估计都是在不断加条件，使用时需要做出相应假设。例子，可以参考参考中的链接。

参考

  https://www.jianshu.com/p/9c153d82ba2d

说明

  参考文章写得比较好，看得懂，但没全懂，整理了一些，贝叶斯估计用的是积分形式，本人实在看不懂积分形式，无法理解这种形式，改成了求和形式。
  有问题欢迎留言指正，共同学习