机器学习基础：最大似然（Maximum Likelihood）和最大后验估计（Maximum A Posteriori Estimation）的区别

最新推荐文章于 2024-12-01 20:38:22 发布

此人姓于名叫罩百灵

最新推荐文章于 2024-12-01 20:38:22 发布

阅读量2.2k

点赞数 3

分类专栏：机器学习文章标签：机器学习最大似然估计最大后验估计 maximum likelihood

本文链接：https://blog.youkuaiyun.com/xuyangcao123/article/details/105758985

版权

机器学习专栏收录该内容

25 篇文章

订阅专栏

前言

在研究SoftMax交叉熵损失函数(Cross Entropy Loss Function)的时候，一种方法是从概率的角度来解释softmax cross entropy loss function的物理意义[1]。

我们再来回顾下分类器输出的Probability Map，如下：

$P(y_i \mid x_i; W) = \frac{e^{f_{y_i}}}{\sum_j e^{f_j} }$

这个公式可以解释为对于给定的 $x_i$ 和 $W$ , 将 $x_i$ 分类为真实标签 $y_i$ 的概率为 $P$ , 因此从**最大似然估计(Maximum Likelihood Estimation)**的角度来讲，交叉熵损失函数的公式如下：
$L_i = -\log\left(\frac{e^{f_{y_i}}}{ \sum_j e^{f_j} }\right) \hspace{0.5in} \text{or equivalently} \hspace{0.5in} L_i = -f_{y_i} + \log\sum_j e^{f_j}$

不就是最大似然估计的公式吗？

而且有个有意思的地方在于，使用概率的角度考虑交叉熵损失的意义，如果给分类器的权重增加一个正则项，如 $R (W)$ ,我们还可以使用最大后验估计(Maximmu a Posteriori)的方法去解释它。

那么问题就在于最大似然估计和最大后验概率估计这样两种方法的区别和联系是什么？ 查资料的时候发现有个博客[2]写的很好，并且我觉得如果让我写的话也许还不如他写的有条理，因此这里选择直接翻译原文，以下的【方法】一节是我翻译的原文。

方法

最大似然估计（Maximum Likelihood Estimation, MLE, 后文一直用MLE表示）和最大后验概率估计（Maximum A Posteriori Estimation, MAP, 后文一直用MAP表示）都是用于在概率分布或图形模型的设置中估计一些变量的方法。它们类似，因为它们计算单个估计值，而不是完整分布(这句话很别扭，原文：They are similar, as they compute a single estimate, instead of a full distribution.)。

学过Mechine Learning的同学应该都知道MLE的方法。有时候我们甚至都不知道自己使用了MLE的方法，比如，当我们想将一个数据集拟合为高斯分布时，我们会直接计算样本的均值和方差，用来当做拟合的高斯概率密度函数的参数。这就是MLE，因为如果我们使用高斯的概率密度函数对均值和方差求导，并且最大化它(比如设置导数为零)，我们得到的就将会是求解样本的均值和样本的方差。另一个例子，在机器学习和深度学习中，大多数的优化问题都可以解释为MLE的问题(这里就是我们在前言中讲过的softmax cross entropy loss function的解释了)。

讲的更抽象一点，假设我们现在有一个似然函数方程 $P(x|\theta)$ ，那么我们想使用MLE方法估计的参数 $\theta$ 可以表示成如下的公式：
$\begin{aligned} \theta_{MLE} &= \mathop{\rm arg\,max}\limits_{\theta} P(X \vert \theta) \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \prod_i P(x_i \vert \theta) \end{aligned}$
在实际计算过程中，由于将很多小于1的数相乘会使最终的结果趋近于0，导致数据的下溢出。因此我们将乘法转化为log空间中的加法，由于log函数是单调递增的，因此最大化上面的方程就等价于最大化下面的这个方程：
$\begin{aligned} \theta_{MLE} &= \mathop{\rm arg\,max}\limits_{\theta} \log P(X \vert \theta) \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \log \prod_i P(x_i \vert \theta) \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \sum_i \log P(x_i \vert \theta) \end{aligned}$
如果使用这个框架，我们只需要计算模型的log形式的似然函数，然后最大化这个似然函数求得参数 $\theta$ 即可，可以使用我们最喜欢的优化函数如梯度下降法。

到此为止，我们已经理解了MLE是如何操作的，从现在起，我们又要开启故事的另一条主线了。

MAP通常出现在Bayesian的环景中，因为，正如其名字显示，MAP利用了后验概率的分布，而不仅仅是似然函数。

回忆一下贝叶斯准则，我们可以通过先验概率和似然函数的乘积得到后验概率如下：
$\begin{aligned} P(\theta \vert X) &= \frac{P(X \vert \theta) P(\theta)}{P(X)} \\[10pt] &\propto P(X \vert \theta) P(\theta) \end{aligned}$
一般情况下我们都会忽略掉归一化因子，因为我们严格地说这里是优化，因此只要比例就够了。

如果我们把之前的MLE估计中的似然函数去掉，换成后验概率，那么目标函数变成如下形式：
$\begin{aligned} \theta_{MAP}& = \mathop{\rm arg\,max}\limits_{\theta} P(X \vert \theta) P(\theta) \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \log P(X \vert \theta) P(\theta) \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \log \prod_i P(x_i \vert \theta) P(\theta) \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \sum_i \log P(x_i \vert \theta) P(\theta) \end{aligned}$
对比下MLE和MAP的公式，两者唯一的区别在于MAP估计中增加了一个先验概率 $P(\theta)$ ，否则，二者完全相同。这就意味着，似然函数现在增加了一个权重，并且这些权重来源于先验概率。

我们假设下如果我们在MAP模型中使用最简单的先验概率，比如均匀分布。这也就意味着，我们在 $\theta$ 的所有可能出现的值上增加了一个相同的权重。也就是说，先验概率上乘了一个常数。因为它是个常数，因此不会对优化结果产生影响，故我们可以把这个常数从目标函数中去掉。

更具体一点，假设 $\theta$ 的可能取值有6个。那么我们就让 $p(\theta)$ 的值都为 $\frac{1}{6}$ ，此时，我们就可以在MAP模型中将常数部分去掉，如下：
$\begin{aligned} \theta_{MAP} &= \mathop{\rm arg\,max}\limits_{\theta} \sum_i \log P(x_i \vert \theta) P(\theta) \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \sum_i \log P(x_i \vert \theta) \, const \\[10pt] &= \mathop{\rm arg\,max}\limits_{\theta} \sum_i \log P(x_i \vert \theta) \\[10pt] &= \theta_{MLE} \end{aligned}$