这两天在重温概率论,发现以前学得挺粗糙的,竟然第一次知道概率论里还有频率派和贝叶斯派之分。。。代表就是MLE和MAP两种概率估计的方法
- 频率派 vs 贝叶斯派
在概率估计或者机器学习里的参数估计上,有两个方法,MLE(最大似然估计) 和MAP(最大后验估计),其实代表了概率论里的两个派别,频率派和贝叶斯派
往大里说,这两个派别代表了不同的世界观。频率派认为参数是客观存在不会改变的,虽然未知,但却是固定值;贝叶斯派则认为参数是随机值,因为不可能做完整的实验去确定,因此参数也可以有分布。
往小处说,频率派最常关心的是似然函数,他们认为直接用样本去计算出的概率就是真实的,而贝叶斯派最常关心的是后验分布,他们认为样本只是用来修正经验观点。
贝叶斯派因为所有的参数都是随机变量,都有分布,因此可以使用一些基于采样的方法 (如MCMC)使得我们更容易构建复杂模型。频率派的优点则是没有假设一个先验分布,因此更加客观,也更加无偏,在一些保守的领域(比如制药业、法律)比 贝叶斯方法更受到信任。
- MLE vs MAP
概率论里的参数估计两种方法MLE和MAP就代表了概率派和贝叶斯派的观点。
关于MLE前面研究过: https://blog.youkuaiyun.com/weixin_43909872/article/details/85255130
简单来说,MLE就是用现有样本直接去推导使这些样本出现概率最大的分布参数,因为概率派认为这个分布参数是固有的。
而MAP认为这个参数是一个随机变量,于是预设一个参数的概率分布,再用已有样本去修正这个预设(先验概率),得到最有利于样本出现的分布参数(后验概率),因为贝叶斯派认为没有一个固有的分布参数,随着多次观察我们只能去趋近那个最合理的分布参数
下面用最简单的离散型数据例子来解释一下:
例子:现在有100个球,黑白两色,不知道各有多少个,我们抽取(并放回)100次,