极大似然估计学习总结

参数估计

在实际应用中，一个总体X的分布函数往往含有未知参数或未知参数向量 $\Theta$ ，从而可记为总体分布函数为$F(x,\Theta )$。比如$X\sim P(\lambda )$，其中$\Theta =\lambda > 0$是未知参数，又如$X\sim N(\mu ,\sigma ^2)$，则$\Theta =(\mu ,\sigma ^2)$是未知参数向量。解决实际问题时需要了解未知参数或未知参数向量 $\Theta$，因此可以利用样本提供的信息，对 $\Theta$有一个基本的估计。这就是参数估计问题。参数估计分为点估计和区间估计。极大似然估计属于点估计。

极大似然估计法

离散型

设总体X是离散型随机变量，分布律为$P(X=x)=p(x,\Theta )$，其中 $\Theta$是未知参数。当样本$X_1，X_2，... ，X_n$时，由样本的独立同分布性，记样本取得这组数据观测值的概率为

$$P(X_1=x_1,X_2=x_2,...,X_n=x_n)\\=P(X_1=x_1)P(X_2=x_2)...P(X_n=x_n)\\=\prod_{i=1}^{n}p(xi,\Theta )=L(\Theta )$$
称$L(\Theta )$为似然函数。对于给定的观测值$x_1,x_2,...,x_n$，它是未知参数 $\Theta$的函数。

下面通过一个例子介绍极大似然估计法的思想和方法。
设一袋中装有黑、白两种球。设p是从袋中随机摸得一个白球的概率，现要估计p的取值。
根据问题，我们令总体X为

$$X=\begin{cases} 1, & \text{ if get white ball } \\ 0, & \text{ if get black ball } \end{cases}$$
则X服从0-1分布B(1，p)，其中P(X=1)=p, P(X=0)=1-p.
为估计p，我们做有放回摸球10次，其结果可用随机变量表示如下：
$$X_i=\begin{cases} 1, & \text{ if get white ball } \\ 0, & \text{ if get black ball } \end{cases} i=1,2,...,10.$$
则$X_1,X_2,...,X_{10}$是来自总体X的一个样本。若10次摸球的结果是样本观测值$(x_1,x_2,...,x_{10})=(1,0,1,0,0,0,1,0,0,0)$，则其似然函数为
$$L(p)=P(X_1=1,X_2=0,X_3=1,X_4=0,X_5=0,X_6=0,X_7=1,X_8=0,X_9=0,X_{10}=0)\\=p^3(1-p)^7$$
即$L(p)=p^3(1-p)^7$是在10次摸球中出现观测值$(1,0,1,0,0,0,1,0,0,0)$的概率。

极大似然估计法的思想

随机试验有若干个可能的结果，如果在一次试验中某一结果出现了，有小概率事件原理，我们便自然认为这一结果出现的概率较大，从而可以认为这一结果是所有结果中出现概率最大的一个。因此p应该这样估计，即选择$\hat{p}$，使得上述观测值出现的概率最大。也就是说使$L(\hat{p})$为$L(p)$的最大值。而求得$L(p)$的最大值点$\hat{p}$，可由方程

$$\frac{d}{dx}L(p)=0$$
解得。本例解得$\hat{p}=0.3$时，$L(0.3)=max\left \{ L(p) \right \}$。于是用$\hat{p}=0.3$作为随机取得一白球的概率的估计值是适当的。
因此，一般对离散型总体，极大似然估计值$\hat{\Theta }$是满足
$$L(\hat{\Theta })=max\left \{ L(\Theta) \right \}$$
的解。

连续型

当总体X是连续型随机变量时，X的概率密度函数为$f(x,\Theta )$，其中 $\Theta$是未知参数。若取得样本观测值$(x_1,x_2,...,x_{10})$，则因为随机变量$X_i$落在点$x_i$的邻域（设其长度为$\Delta x_i$）内的概率近似于$f(x_i,\Theta )\Delta x_i , i = 1,2,...,n$，则样本$(X_1,X_2,...,X_n)$落在样本观测值$(x_1,x_2,...,x_n)$邻近的概率近似为$\prod_{i=1}^{n} f(x_i,\Theta )\Delta x_i$。由前面例子的思想， $\Theta$的估计值$\hat{\Theta }$应选择使概率$\prod_{i=1}^{n} f(x_i,\Theta )\Delta x_i$达到最大值。但因为$\Delta x_i$与 $\Theta$无关，故只要使$\prod_{i=1}^{n} f(x_i,\Theta )$达到最大值即可。此时，记

$$L(\Theta)=\prod_{i=1}^{n} f(x_i,\Theta )$$
仍然称$L(\Theta)$为似然函数。

极大似然估计值定义

设总体X仅含有一个未知参数$\Theta$，并且总体的分布律或密度函数已知，$x_1,x_2,...,x_n$为一组样本观测值。若存在 $\Theta$的一个值$\hat{\Theta }(x_1,x_2,...,x_n)=\hat{\Theta }$，使得

$$L(\hat{\Theta })=max\left \{ L(\Theta) \right \}$$
则称$\hat{\Theta }=\hat{\Theta }(x_1,x_2,...,x_n)$是 $\Theta$的极大似然估计值。而统计量$\hat{\Theta }(X_1,X_2,...,X_n)$称为 $\Theta$的极大似然估计量。
由定义可知，极大似然估计值可由似然方程 $$\frac{d}{d\Theta}L(\Theta)=0$$ 解得。但由于$lnL$和$L$在 $\Theta$的同一值处取得最大值，因而极大似然估计值也可以有对数方程 $$\frac{d}{d\Theta}(lnL(\Theta))=0$$ 解得。

注意
当总体X服从单峰分布时，若似然方程有解，则其解就是$\Theta$的极大似然估计值。所谓单峰分布指其密度函数图像或其概率分布图只有一个峰。常见分布中除去均匀分布，都是单峰分布。