#数据分析 MLE(最大似然估计) MAP（最大后验估计）

最新推荐文章于 2024-01-19 10:57:05 发布

懿朔

最新推荐文章于 2024-01-19 10:57:05 发布

阅读量324

点赞数

CC 4.0 BY-SA版权

分类专栏：数据分析

原文链接：https://zhuanlan.zhihu.com/p/32480810

数据分析专栏收录该内容

13 篇文章

订阅专栏

本文探讨了频率学派的MLE（最大似然估计）与贝叶斯学派的MAP（最大后验估计）在建模和求解参数估计上的区别，以独立同分布抽样为例，解析了两种方法的推导过程，并指出深度学习中的交叉熵损失本质是MLE。同时，讲解了两者在使用高斯先验时的等效性，以及如何通过先验选择体现不同的优化策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MLE (Maximum Likelihood Estimation 最大似然估计) 频率学派
MAP (Maximum A Posteriori 最大厚颜估计) 贝叶斯学派

各派观点：

频率学派认为世界确定，有一个本体其真值是不变的，我们的目标是要找到该真值或真值所在的范围
贝叶斯学派认为世界是不确定的，人们对世界有一个预判，通过观测数据对预判做调整，我们的目标是要找到最优的描述这个世界的概率分布

对事物建模时用 $θ\theta$ 表示模型的参数，解决问题的本质即是求解该值

- MLE
假设数据 $x_1,x_2,...,x_n$ 是独立同分布的一组抽样,那么MLE对 $θ\theta$ 的估计方法可以如下推导：
$θ^MLE\hat{\theta}_{MLE}$
=arg max $\theta)$
=arg max $P(x1,θ)P(x2,θ)...P(xn,θ)P(x_1, \theta)P(x_2, \theta)...P(x_n, \theta)$
=arg max $∑i=1nlogP(xi),θ\sum_{i=1}^{n}logP(x_i),\theta$
=arg min - $∑i=1nlogP(xi),θ\sum_{i=1}^{n}logP(x_i),\theta$
最后一行即Negative Log Likelihood(NLL)
深度学习做分类任务时所用的 cross entropy loss 本质也是MLE

- MAP
假设数据 $x_1,x_2,...,x_n$ 是独立同分布的一组抽样,则MAP对 $θ\theta$ 的估计方法可以如下推导：
$θ^MAP\hat{\theta}_{MAP}$
=arg max $P(θ∣X)P(\theta|X)$
=arg min - $P(\theta|X)$
=arg min - $P(X|\theta)$ - $P(\theta)$ + $l o g P (X)$
=arg min - $P(X|\theta)$ - $P(\theta)$
(不考虑最后一项因为其与 $θ\theta$ 无关)
- $P(X|\theta)$ 即NLL,所以MLE 和 MAP优化的不同在于先验项- $P(\theta)$ 。假设先验是高斯分布即：
$P(θ)P(\theta)$ =constant $×e−θ22σ2\times e^{- \frac{\theta^2}{2\sigma^2}}$
则- $P(\theta)$ =constant + $eθ22σ2e^{\frac{\theta^2}{2\sigma^2}}$
在MAP中使用高斯分布的先验等价于在MLE中采用L2正则

ref:https://zhuanlan.zhihu.com/p/32480810