极大似然估计

     最大似然估计是利用已知的样本的结果，在使用某个模型的基础上，反推最有可能导致这样结果的模型参数值。例如：现在已经拿到了很多个样本（你的数据集中所有因变量），这些样本值已经实现，最大似然估计就是去找到那个（组）参数估计值，使得前面已经实现的样本值发生概率最大。因为你手头上的样本已经实现了，其发生概率最大才符合逻辑。这时是求样本所有观测的联合概率最大化，是个连乘积，只要取对数，就变成了线性加总。此时通过对参数求导数，并令一阶导数为零，就可以通过解方程（组），得到最大似然估计值。

原理：极大似然估计是建立在极大似然原理的基础上的一个统计方法，是概率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。通过若干次试验，观察其结果，利用试验结果得到某个参数值能够使样本出现的概率为最大，则称为极大似然估计。

        由于样本集中的样本都是独立同分布，可以只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：

        似然函数（linkehood function）：联合概率密度函数称为相对于的θ的似然函数。

        如果是参数空间中能使似然函数最大的θ值，则应该是“最可能”的参数值，那么就是θ的极大似然估计量。它是样本集的函数，记作：

求解极大似然函数

        ML估计：求使得出现该组样本的概率最大的θ值。

         实际中为了便于分析，定义了对数似然函数：

        1. 未知参数只有一个（θ为标量）

        在似然函数满足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：

        2.未知参数有多个（θ为向量）

        则θ可表示为具有S个分量的未知向量：

         记梯度算子：

         若似然函数满足连续可导的条件，则最大似然估计量就是如下方程的解。

         方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。

极大似然估计的例子

        例1：设样本服从正态分布，则似然函数为：