机器学习之最大似然估计（MLE）和最大后验概率估计（MAP）

本文链接：https://blog.youkuaiyun.com/fenglepeng/article/details/104829669

本文深入讲解了最大似然估计(MLE)与最大后验概率估计(MAP)的概念及应用。MLE利用已知样本反推参数，使数据产出概率最大；MAP则在此基础上考虑参数的先验概率，更符合贝叶斯算法原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最大似然估计MLE

MLE（Maximum Likelihood Estimation）就是利用已知的样本结果，反推最有可能(最大概率)导致这样结果的参数值的计算过程。直白来讲，就是给定了一定的数据，假定知道数据是从某种分布中随机抽取出来的，但是不知道这个分布具体的参数值，即"模型已定，参数未知"，MLE就可以用来估计模型的参数。MLE的目标是找出一组参数(模型中的参数)，使得模型产出观察数据的概率最大。

$\underset{\theta }{\arg \max} = p(x; \theta)$

假定盒子中有黑白两种球，数目未知，黑白球比例也未知，现只知道随机的10次有放回抽样情况，求盒子中抽取出白球的概率：

盒子编号	1	2	3	4	5	6	7	8	9	10
1	黑	黑	黑	黑	黑	黑	黑	黑	黑	黑
2	黑	黑	白	白	黑	黑	黑	白	黑	黑
3	黑	白	黑	黑	白	黑	白	黑	白	白
4	白	黑	白	白	黑	白	黑	白	白	白
5	白	白	白	白	白	白	白	白	白	白

MLE求解过程：

编写似然函数(即联合概率函数)（似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数）；
对似然函数取对数，并整理；(一般都进行)
求导数；
解似然方程

$\begin{aligned}L(X; \theta)\to l(\theta)&=\ln(L(X;\theta))\to\frac{\partial l}{\partial\theta} \\\arg\max_pP(x_i;p)&=\arg\max_p\ln(P(x_i;p))\end{aligned}$

上述例子解法

盒子中只有黑球和白球，假定白球的比例为p，那么黑球的比例为1-p。因为采取的是有放回的随机抽取，那么每次抽取出来的球的颜色服从同一独立分布情况，即每次抽取之间是独立互不影响的。

$L(X;p) = P(x_1,x_2,x_3,x_4,x_5,x_6,x_7,x_8,x_9,x_{10};p) = \prod_{i=1}^{10}P(x_i;p))\\l(p) = ln(L(X;p))=\sum_{i=1}^{10}P(x_i;p))\\\frac{\partial l}{\partial p}=0 \rightarrow p=?$

最大后验概率估计 MAP

最大后验概率估计（Maximum A Posteriori Estimation，MAP）和MLE一样，都是通过样本估计参数 θ 的值。在MLE中，是使似然函数P(x∣θ)最大的时候参数θ 的值，MLE中假设先验概率是等值的。而在MAP中，则是求 θ 使P(x∣θ)P(θ) 的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求 θ 本身出现的先验概率也得比较大。可以认为MAP是贝叶斯算法的一种应用。

$P(\theta'|X)=\frac{P(\theta')P(X|\theta')}{P(X)}\to\arg\max_{\theta'}P(\theta'|X)\to\arg\max_{\theta'}P(\theta')P(X|\theta')$

盒子编号	1	2	3	4	5	6	7	8	9	10
1	黑	黑	黑	黑	黑	黑	黑	黑	黑	黑
2	黑	黑	白	白	黑	黑	黑	白	黑	黑
3	黑	白	黑	黑	白	黑	白	黑	白	白
4	白	黑	白	白	黑	白	黑	白	白	白
5	白	白	白	白	白	白	白	白	白	白

盒子编号	1	2	3	4	5	6	7	8	9	10
1	黑	黑	黑	黑	黑	黑	黑	黑	黑	黑
2	黑	黑	白	白	黑	黑	黑	白	黑	黑
3	黑	白	黑	黑	白	黑	白	黑	白	白
4	白	黑	白	白	黑	白	黑	白	白	白
5	白	白	白	白	白	白	白	白	白	白

盒子编号	1	2	3	4	5	6	7	8	9	10
1	黑	黑	黑	黑	黑	黑	黑	黑	黑	黑
2	黑	黑	白	白	黑	黑	黑	白	黑	黑
3	黑	白	黑	黑	白	黑	白	黑	白	白
4	白	黑	白	白	黑	白	黑	白	白	白
5	白	白	白	白	白	白	白	白	白	白