【概率统计通俗版】极大似然估计

作者：小猪快跑

基础数学&计算数学，从事优化领域7年+，主要研究方向：MIP求解器、整数规划、随机规划、智能优化算法

Maximum Likelihood Estimation(MLE)，一般称之为极大似然估计 / 最大似然估计。利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

如有错误，欢迎指正。如有更好的算法，也欢迎交流！！！——@小猪快跑

相关教程

• 常用分布的数学期望、方差、特征函数
• 【推导过程】常用离散分布的数学期望、方差、特征函数
• 【推导过程】常用连续分布的数学期望、方差、特征函数
• Z分位数速查表
• 【概率统计通俗版】极大似然估计
• 【附代码&原理】正态分布检验
• 【附代码&原理】偏正态分布的数据处理方法
• 【超详图文】多少样本量用 t分布 OR 正态分布
• 【推导过程】常用共轭先验分布
• 【机器学习】【通俗版】EM算法（待更新）

相关文献

• [1]茆诗松,周纪芗.概率论与数理统计 (第二版)[M].中国统计出版社,2000.
• [2]周志华.机器学习 人工智能[M].清华大学出版社,2016.
• [3]李航.统计学习方法[M].清华大学出版社,2012.
• [4]谢文睿,秦州,贾彬彬.机器学习公式详解 第2版 人工智能[M].人民邮电出版社,2023.
• [5] Do C B , Batzoglou S .What is the expectation maximization algorithm?[J].Nature Biotechnology, 2008, 26(8):897-9.DOI:10.1038/nbt1406.

例子1

箱子甲：99 个白球和 1 个黑球

箱子乙：99 个黑球和 1 个白球

随机选个箱子，并从中随机取 1 个球。结果取得白球，问这球是从哪一个箱子中取出？

	白球	黑球
甲	99	1
乙	1	99

直观感受来说，从箱子甲里面抽到白球的概率高。

不管是哪一个箱子，从箱子中任取一球都有两个可能的结果：$A$ 表示取出白球，$B$ 表示取出黑球。如果我们取出的是甲箱，则 $A$ 发生的概率为 0.99，而如果取出的是乙箱，则 $A$ 发生的概率为 0.01。现在一次试验中结果 $A$ 发生了，人们的第一印象就是: “此白球 $(A)$ 最像从甲箱取出的”，或者说，应该认为试验条件对结果 $A$ 出现有利，从而可以推断这球是从甲箱中取出的。这个推断很符合人们的经验事实，这里 “最像” 就是 “最大似然” 之意。

例子2

从箱子里随机取出 5 个球，分别为 白、白、黑、白、黑，根据这个结果估计箱子白球和黑球的比例。

	白球	黑球	概率
1	$✓$		$p$
2	$✓$		$p$
3		$✓$	$1-p$
4	$✓$		$p$
5		$✓$	$1-p$

设白球比例是 $p$，则黑球比例就是 $1-p$，随机变量为 $X$。

5 个球的概率分别是 $p、p、1-p、p、1-p$。

这个结果发生的概率（似然函数）：$L(p)=p\cdot p\cdot (1-p)\cdot p\cdot (1-p)=p^3(1-p{)}^2$

极大似然估计的思想就是最大化发生的概率。于是我们只要求似然函数的最大值即可（求导=0）。

由于似然函数是乘积形式，不容易求导。因此先求对数（对数似然函数）：
$$\ln L(p)=3\ln p+2\ln (1-p)$$
再求导=0：
$$\frac{\partial \ln L(p)}{\partial p}=\frac{3}{p}-\frac{2}{1-p}=0$$
于是 $p=\frac{3}{5}$

注ÿ