似然估计，最大后验，贝叶斯估计的区别

概率分布的参数估计一直没搞清各种方法,如最大似然（maximum likelihood），最大后验(max a posterior),贝叶斯估计（Bayesian estimation）的区别，最近看到一张图，解释的特别清楚。如下：

假设数据的真实分布为标准正态分布，如下图中的红色点线，其中均值u为待估参数，方差假定已知。对u随便假设一个先验分布，N~（u=1,sigma^2=3）. 目标为从N个观测数据 （蓝色圆圈）估计出数据的真实u。

• 红色菱形为最大似然的估计结果
• 黑色雪花为最大后验概率Map的估计结果
• 紫色的实线为贝叶斯估计结果，注意不是一个数，而是一个分布。

从下图中可以得出如下结论：

• 随着观测数据N的增多，最大似然估计的结果接近真值0
• map 的估计结果实际就是贝叶斯估计的极值点。
• 随着数据的增多，三种方法估计结果相差不大。
• 少量观测数据下，最大似然结果不准确。

 

---

                                   

---

该图片摘自书籍： A brief introduction to machine learning for engineers .