【统计学】深入理解最大似然估计（MLE， maximum likelihood estimation）

目录

1. 前言

2. 案例导入

3. 理论阐述

4. 伯努利分布

5. 高斯（正态）分布

---

1. 前言

最大似然估计就是利用已知的样本结果，在使用某个模型的基础上，反推最有可能导致这样的结果的模型参数。

2. 案例导入

这里我们用一个经典的摸球游戏来阐述最大似然估计在伯努利分布模型上的应用。

假设一个袋子里面装有红球和白球，比例未知，现在我们要抽取10次（每次抽完都放回，保证每次抽取的独立性），假设抽取到了7次白球和3次红球（最大似然估计是“一种模型已经确定，参数未知”基于样本的的参数估计方法）。显而易见，此时样本的白球比例为70%，但如何通过理论的方法推知该袋中最大可能性的白球红球比例呢？一些简单的情况，很容易做出一个推断，如上面的摸球模型，就可以直接根据样本情况估计最有可能袋子里就是7个白球3个红球。但是，在一些复杂的情况下，是很难通过直观的方式获得答案的，这时候理论分析就变得格外重要，这也是最值似然估计要解决的问题。我们可以定义从袋子中连续两次摸球的概率为：

                                    

因为θ是未知的，所以我们定义似然L为：

                              

两边取ln，取ln是为了将右边的乘号变成加号，以方便求导。

两边同时取对数，左边通常称为对数似然。

有时，也有上式为平均对数似然。

最大似然估计的过程，就是找到一个合适的theta，使得平均对数似然最大。因此，可以得到以下公式：

这里讨论的是2次采样的情况，当然也可以将其拓展到多次采样的情况：

我们定义M为模型，表示抽到白球的概率为θ，而抽到红球的概率为1-θ，因此10次抽取到白球7次的概率可以表示为：