数理统计复习笔记三——点估计

在数理统计复习笔记一——统计中常用的抽样分布和数理统计复习笔记二——充分统计量中，分别介绍了统计量的几个常用抽样分布和充分统计量，引入统计量的目的在于对感兴趣的问题进行统计推断。本文先讨论感兴趣参数的估计问题——点估计。

一、矩估计

1.1 定义

对于样本$X_1,\cdots ,X_n$以及任意一正整数$k$，我们称$$a_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k\text{\hspace{1em}(1)}$$$$m_k=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^k\text{\hspace{1em}(2)}$$
为样本$k$阶原点矩和$k$阶中心矩。

称总体$X$的$k$阶原点矩和$k$阶中心矩分别为$${\mu }_k=E{X}^k\text{\hspace{1em}(3)}$$$${\nu }_k=E(X-{\mu }_1{)}^k\text{\hspace{1em}(4)}$$

由定义可知，样本矩不依赖于总体中的参数，但总体矩则与分布中的未知参数有关。由中心极限定理和大数定律可知，样本矩是总体矩的一个很好的估计。

1.2 总体均值和方差的矩估计

记$X_1,\cdots ,X_n$为简单随机样本，且总体二阶矩存在，记$\mu =E(X)$，${\sigma }^2=Var(X)$，则由矩估计法可知$$\hat{\mu }=a_1=\frac{1}{n}\sum _{i=1}^n{X}_i\text{\hspace{1em}(5)}$$$${\hat{\mu }}_2={\hat{\mu }}^2+{\hat{\sigma }}^2=a_2=\frac{1}{n}\sum _{i=1}^n{X}_i^2\text{\hspace{1em}(6)}$$
由此可求得总体均值和方差的矩估计为$$\hat{\mu }=\overline{X}\text{\hspace{1em}(7)}$$$${\hat{\sigma }}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2\text{\hspace{1em}(8)}$$
所以，总体均值的矩估计是样本均值，总体方差的矩估计是样本方差的$\frac{n-1}{n}$倍。记$S_n^{\ast 2}=\frac{1}{n}\sum _{i=1}^n(X_i-\overline{X}{)}^2$为修正的样本方差。而且上述结论不要求总体分布的形式。

1.3 例子

• 柏松分布$P(\lambda )$的总体均值的矩估计：$$\hat{\lambda }=\overline{X}\text{\hspace{1em}(9)}$$$$\hat{\lambda }=S_n^{\ast 2}\text{\hspace{1em}(10)}$$
  都是总体均值的矩估计（$\lambda$既是柏松分布$P(\lambda )$的均值，又是方差），但本着选用低阶矩的原则，可以选用$(9)$式。
• 均匀分布$U(0,\theta )$中参数$\theta$的估计：$$\hat{\theta }=2\overline{X}\text{\hspace{1em}(11)}$$

二、极大似然估计

2.1 基本思想

认为概率最大的事情最有可能发生。

2.2 似然函数

对于分布族 { f ( x , θ ) , θ ∈ Θ } \{f(x,\theta),\theta\in\Theta\} { f(x,θ),θ∈Θ}，如以$f(\mathbf{x},\theta )$记其$n$个样本的联合概率分布，则对于给定的样本观测值$\mathbf{x}=(x_1,\cdots ,x_n)$，我们称$f(\mathbf{x},\theta )$为参数$\theta$的似然函数，简称为似然函数，并记作$$L(\theta ,\mathbf{x})=f(\mathbf{x},\theta ),\forall \theta \in \Theta \text{\hspace{1em}(12)}$$
称$\ln L(\theta ,\mathbf{x})$为对数似然函数，记为$l(\theta ,\mathbf{x})$或$l(\theta )$

由定义可知，似然函数与样本联合概率分布相同，但二者的含义却不同：样本联合概率分布是固定参数值$\theta$下关于样本$\mathbf{x}$的函数，它的取值空间为样本空间$\mathcal{X}$；似然函数则是固定样本观测值$\mathbf{x}$下关于参数$\theta$的函数，其在参数空间$\Theta$上取值。

换句话说就是，当给定参数后，样本联合分布将告诉我们哪个样本将以多大的概率被观测到；反过来，当有了样本后，似然函数将告诉我们如何最有可能的取参数$\theta$的估计。

2.3 MLE

2.3.1 定义

设$X_1,\cdots ,X_n$是来自某概率分布 f ( x , θ ) ∈ F = { f ( x , θ ) , θ ∈ Θ ⊆ R k } f(x,\theta)\in \mathcal F=\{f(x,\theta),\theta\in\Theta\subseteq\bm R^k\} f(x,θ)∈F={ f(x,θ),θ∈Θ⊆Rk}的一组样本，如果统计量$\hat{\theta }(\mathbf{X})$满足$$L(\hat{\theta }(\mathbf{x}),\mathbf{x})=\underset{\theta \in \Theta }{\sup }L(\theta ,\mathbf{x})\text{\hspace{1em}(13)}$$或等价的满足$$l(\hat{\theta }(\mathbf{x}),\mathbf{x})=\underset{\theta \in \Theta }{\sup }l(\theta ,\mathbf{x})\text{\hspace{1em}(14)}$$
则称$\hat{\theta }$是$\theta$的MLE

2.3.2 求解

根据定义可知，如果似然函数$L(\theta ,\mathbf{x})$关于$\theta$可微，则$\theta$的MLE可以通过求解下面的方程求得：$$\frac{\partial L(\theta ,\mathbf{x})}{\partial {\theta }_j}=0,j=1,\cdots$$