极大似然估计（Maximum-Likelihood）的理解

极大似然估计 是建立在 极大似然原理 的基础上的一个统计方法，是概率论在统计学中的应用。

目录

1、极大似然原理

2、极大似然估计

---

1、极大似然原理

极大似然原理：在随机试验中，许多事件都有可能发生，概率大的事件发生的概率也大。若只进行一次试验，事件 A 发生了，则我们有理由认为 A 比其他事件发生的概率都大。

例如，一个箱子里有红黑两种颜色的球，数量为10个和1个，但并不知道到底哪种颜色的球为10个那种颜色的球为1个，这时我们随机从箱子里拿出一个球，如果这个球是红色的，那我们就认为盒子里红球有10个，黑球有1个。

2、极大似然估计

极大似然估计（ML）就是利用已知的样本结果（如上例中摸出来的球是红色的），反推最有可能（最大概率）导致这样结果的参数值（如上例中得出10红1黑的结论）。这也是统计学中用样本估计整体的一种阐述。

ML 提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

如何理解“模型已定，参数未知”呢？这里的模型可以是一个参数未定的公式，也可以认为是一个机器学习模型。

如指数分布公式

分布函数模型已知，参数 λ 即是所求参数，给定一组随机变量集 D，求最合适的一个参数  使得在该参数下 D 发生的概率最高。

再例如，我们有一个模型，模型中的未知参数为  ，取值范围为   。还有一组含有 N 个样本的数据集 D：

我们要求得一组模型的参数 ，使得数据集D出现的概率最大。定义似然函数（数据集D发生的概率）如下：

 求解该似然函数就是求一组参数  使得  达到最大值，此时  就是  的最大似然估计量。

求解最大值，哪一定会涉及到函数求导，但是看 L 的公式就知道直接对求导过程大可能很麻烦且结果阶数较高，而考虑到函数 ln(L) 与 L 具有相同的趋势与最大值点，因此实际应用中为了便于分析，一般都会使用 对数似然函数 H=ln(L) 来求解  。

然后令其 偏导数 等于 0：

方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

PS：补一个李宏毅老师在讲解 diffusion module 时候的一个推导，即：

maximum likelihood = minimize KL divergence（KL散度）

参考：

吴传生：《经济数学-概率论与数理统计》

极大似然估计详解_知行流浪-优快云博客_极大似然估计

【生成式AI】Diffusion Model 原理剖析 (2/4)_哔哩哔哩_bilibili