机器学习笔记（五）--贝叶斯统计

简介

我之前已经讨论过如果来通过MAP来估计$\theta$，这里接下来将会有全贝叶斯后验的计算。
贝叶斯统计的核心就是通过后验统计来来总结关于我们不知道的变量的一切知识。在第6章会有通过经典统计学来做的内容。

后验分布的总结

后验分布$p(\theta|D)$告诉总结了我们对于未知数$\theta$所知道的内容。这章我们会讨论如何从概率分布中进行推测一些简单的未知数。这种总结性的统计相对于全联合统计而言要更容易理解和识别。

MAP估计

我们已经可以很容易的通过计算后验的平均，中位数，众数来估计一个未知数。总体来说，对于一个连续变量来说，平均和中位数是对连续数据的很好的估计，对于一个离散的数来说，计算后验边缘分布是一个很好的选择。为什么MAP那么流行，是因为它可以把计算规约到一个最优化问题。并且MAP也可以看做一个非贝叶斯的方法，只要把先验看做一个正则就可以了。
尽管MAP讨论了那么多优点，但是MAP也有很多缺点，接下来我们会讨论MAP的缺点。这也就提供了我们讨论更全面的贝叶斯方法来进行估。

对于估计没有置信度区间

MAP最致命的一个缺点就是对于估计的参数没有置信度估计。只是提供了一个对于未知数的估计。当然，我们可以在接下来的内容里去完善估计的置信度。

会导致过拟合

在机器学习的领域，我们很多时候更多的会关注预测的准确性而不是去解释我们模型的参数的含义，这就会导致过于相信模型的结果。也就是会导致过拟合。

众数是一个非典型性的指标

有的时候使用后验分布的众数是非常弱的选择，因为它不像平均数和中位数，对于分布来说是非典型的。

置信区间

置信区间，我们一般会使用中心置信区间，也就是P(l