统计知识基础（三）常用构造估计量的两种方法——矩估计、最大似然估计

本文介绍了矩估计法和最大似然估计的基本原理及应用步骤，并通过具体例题展示了如何进行参数估计。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

矩估计法

矩估计法的定义

矩估计法是用样本 $k$ 阶矩作为总体的 $k$ 阶矩的估计量，建立含待估计参数的方程，从而解出带估计参数。矩估计中，总体均值与方差的矩估计量的表达式不因不同的总体分布而异。通俗的讲就是：
例如，不论总体服从什么分布，总体期望 $μ\mu$ ，与方差 $δ2\delta^2$ 存在，则根据矩估计法，它们的估计量分别为 $μ^=1n∑i=1nXi=Xˉδ^2=1n∑i=1n(Xi−Xˉ)2=Sn2 \hat{\mu}=\frac{1}{n}\sum\limits_{i=1}^n{X_i}=\bar{X} \\\hat{\delta}^2=\frac{1}{n}\sum\limits_{i=1}^n{(X_i-\bar{X})^2}=S^2_n$
当 $1n−1∑i=1n(Xi−Xˉ)2=Sn2\frac{1}{n-1}\sum\limits_{i=1}^n{(X_i-\bar{X})^2}=S^2_n$ 时，是无偏矩估计。当然，矩估计不唯一。
一般地，用样本均值 $Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum\limits_{i=1}^n{X_i}$ 作为总体的均值的矩估计。
用样本二阶中心距 $B2=1n∑i=1n(Xi−Xˉ)2B_2=\frac{1}{n}\sum\limits_{i=1}^n{(X_i-\bar{X})^2}$ 作为总体方差的的矩估计。

矩估计法的依据

设 $X$ 为连续型随机变量，其概率密度为 $f(x;θ1,θ2,θ3,⋯ ,θk)f(x;\theta_1,\theta_2,\theta_3,\cdots,\theta_k)$ ，设 $X$ 为离散型随机变量，其分布律为 $P{X=x}=p(x;θ1,θ2,θ3,⋯ ,θk)P\{X=x\}=p(x;\theta_1,\theta_2,\theta_3,\cdots,\theta_k)$ ，其中 $θ1,θ2,θ3,⋯ ,θk\theta_1,\theta_2,\theta_3,\cdots,\theta_k$ 为待估参数， $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 来自 $X$ 的，假设总体 $X$ 的前 $k$ 阶矩且均为 $θ1,θ2,θ3,⋯ ,θk\theta_1,\theta_2,\theta_3,\cdots,\theta_k$ 的函数，即
$\mu_l=E(X_l)=\lmoustache_{+\infty}^{-\infty}x^lf(x;\theta_2,\theta_3,\cdots,\theta_k)dx\quad(X为连续型变量) \\\quad \\\mu_l=E(X_l)=\sum\limits_{x\in R_X}{x^lp(x;\theta_1,\theta_2,\theta_3,\cdots,\theta_k)}\quad(X为离散型变量)$
$R_X$ 是 $x$ 可能取值的范围， $l=1,2,3,⋯ ,kl=1,2,3,\cdots,k$ ，因为样本矩的连续函数依概率收敛于相应的总体矩的连续函数，样本矩 $Al=1n∑i=1nXilA_l=\frac{1}{n}\sum\limits_{i=1}^n{X_i^l}$ 依概率收敛于相应的总体矩 $μl\mu_l$ 。

矩估计的一般步骤

令 $μl=Al,l=1,2,3,⋯ ,k\mu_l=A_l,l=1,2,3,\cdots,k$ ，这是一个包含 k 个未知参数 $θ1,θ2,θ3,⋯ ,θk\theta_1,\theta_2,\theta_3,\cdots,\theta_k$ 的方程组；
解出其中的 $θ1,θ2,θ3,⋯ ,θk\theta_1,\theta_2,\theta_3,\cdots,\theta_k$ ；
用方程组的解 $θ^1,θ^2,θ^3,⋯ ,θ^k\hat{\theta}_1,\hat{\theta}_2,\hat{\theta}_3,\cdots,\hat{\theta}_k$ 分别作为 $θ1,θ2,θ3,⋯ ,θk\theta_1,\theta_2,\theta_3,\cdots,\theta_k$ 的估计量。

例题

例1：设总体 $X$ 的概率密度函数为
$f(x,θ)=12θe−∣x∣θ,−∞<x<+∞,θ>0f(x,\theta)=\frac{1}{2\theta}e^{-\frac{|x|}{\theta}},\quad -\infty<x<+\infty,\quad\theta>0$ ，求 $θ\theta$ 的矩估计量。
解： $f(x;θ)f(x;\theta)$ 中仅含有一个 $θ\theta$ ，
$E(X)=\lmoustache_{-\infty}^{+\infty}{x\frac{1}{2\theta}e^{-\frac{|x|}{\theta}}}dx=0$
$E (X)$ 中不含有 $θ\theta$ ，因此无法解出 $θ\theta$ 的矩估计量。需继续求总体的二阶原点矩。
$\begin{aligned} E(X^2)&=\lmoustache_{-\infty}^{+\infty}{x^2\frac{1}{2\theta}e^{-\frac{|x|}{\theta}}}dx\\ &=\frac{1}{\theta}\lmoustache_0^{+\infty}x^2e^{-\frac{x}{\theta}}dx\\ &=\theta^2\Gamma(3)\\ &=2\theta^2\\ \end{aligned}$
用 $A2=1n∑i=1nXi2A_2=\frac{1}{n}\sum\limits_{i=1}^n{X^2_i}$ 替换 $E(X^2)$ ，则 $A2=1n∑i=1nXi2=2θ2A_2=\frac{1}{n}\sum\limits_{i=1}^n{X^2_i}=2\theta^2$ ，得出 $θ\theta$ 的矩估计量为
$θ^=121n∑i=1nXi2=A22,θ>0 \hat{\theta}=\sqrt{\frac{1}{2}\frac{1}{n}\sum\limits_{i=1}^n{X^2_i}}=\sqrt{\frac{A_2}{2}} \quad,\quad \theta>0$
例2
设总体 $X$ 的均值 $μ\mu$ 和方差 $δ2\delta^2$ 都存在，且有 $δ>0\delta>0$ ，但 $μ\mu$ 和 $δ2\delta^2$ 均为未知，又设 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 是一个样本，求 $μ\mu$ 和 $δ2\delta^2$ 的矩估计量。
解：
$\begin{aligned} \mu_1&=E(X)=\mu\\ \mu_2&=E(X^2)=D(X)+[E(X)]^2=\delta^2+\mu^2 \end{aligned}$
令
$\left\{ \begin{aligned} &\mu=A_1\\ \\\quad &\delta^2+\mu^2=A_2 \end{aligned} \right.$
解得
$\left\{ \begin{aligned} &\mu=\mu_1\\ \\\quad &\delta^2=\mu-\mu_1^2 \end{aligned} \right.$
则
$μ^=A1=Xˉδ^2=A2−A12=1n∑i=1nXi2−Xˉ=1n∑i=1n(Xi−Xˉ)2 \begin{aligned} \hat{\mu}&=A_1=\bar{X}\\ \hat{\delta}^2&=A_2-A_1^2\\ &=\frac{1}{n}\sum\limits_{i=1}^n{X^2_i}-\bar{X}\\ &=\frac{1}{n}\sum\limits_{i=1}^n{(X_i-\bar{X})^2} \end{aligned}$

例3
设总体 $X$ 在 $[a, b]$ 上服从均匀分布, 其中 $a, b$ 未知， $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 是一个样本，求 $a, b$ 的估计量。
解：
$\begin{aligned} \mu_1&=E(X)=\frac{a+b}{2}\\ \mu_2&=E(X^2)=D(X)+[E(X)]^2\\ &=\frac{(a-b)^2}{12}+\frac{(a+b)^2}{4} \end{aligned}$
令
$\begin{aligned} A_1&=\frac{a+b}{2}=\frac{1}{n}\sum\limits_{i=1}^n{X_i}\\ A_2&=\frac{(a-b)^2}{12}+\frac{(a+b)^2}{4}=\frac{1}{n}\sum\limits_{i=1}^n{X^2_i} \end{aligned}$
则
$\left\{ \begin{aligned} &a+b=2A_1\\ \\\quad &b-a=\sqrt{12(A_2-A_1^2)} \end{aligned} \right.$
则 $a, b$ 的估计量为：
$a^=Xˉ−3n∑i=1n(Xi−Xˉ)2b^=Xˉ+3n∑i=1n(Xi−Xˉ)2 \begin{aligned} &\hat{a}=\bar{X}-\sqrt{\frac{3}{n}\sum\limits^n_{i=1}{(X_i-\bar{X})^2}}\\ &\hat{b}=\bar{X}+\sqrt{\frac{3}{n}\sum\limits^n_{i=1}{(X_i-\bar{X})^2}} \end{aligned}$

最大似然估计

似然函数的定义

总体X是连续型：设概率密度为 $f(x;θ)f(x;\theta)$ ， $θ\theta$ 为待估参数， $θ∈Θ\theta\in\Theta$ ， $Θ\Theta$ 是 $θ\theta$ 可能的取值范围。设 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 是来自X的样本，则 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 的联合密度为 $∏i=1nf(x;θ)\prod\limits^n_{i=1}f(x;\theta)$ ，设 $x1,x2,x3,⋯ ,xnx_1,x_2,x_3,\cdots,x_n$ 为相应样本 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 的一个样本值，则随机点 $(X1,X2,X3,⋯ ,Xn)(X_1,X_2,X_3,\cdots,X_n)$ 落在点 $x1,x2,x3,⋯ ,xnx_1,x_2,x_3,\cdots,x_n$ 的邻域内的概率近似地为 $∏i=1nf(x;θ)dxi\prod\limits^n_{i=1}f(x;\theta)dx_i$ 。则
$L(\theta)=L(x_1,x_2,x_3,\cdots,x_n;\theta)=\prod\limits^n_{i=1}f(x;\theta)$
$L(θ)L(\theta)$ 称为样本的似然函数。
总体X是离散型：设分布律 $P{X=x}=p(x;θ)P\{X=x\}=p(x;\theta)$ ， $θ∈Θ\theta\in\Theta$ 的形式是已知的， $θ\theta$ 为待估参数， $Θ\Theta$ 是 $θ\theta$ 可能的取值范围。设 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 是来自X的样本，则 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 的联合分布律为 $∏i=1np(xi;θ)\prod\limits^n_{i=1}p(x_i;\theta)$
设 $x1,x2,x3,⋯ ,xnx_1,x_2,x_3,\cdots,x_n$ 为相应样本 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 的一个样本值，则 $X1,X2,X3,⋯ ,XnX_1,X_2,X_3,\cdots,X_n$ 取到观察值 $x1,x2,x3,⋯ ,xnx_1,x_2,x_3,\cdots,x_n$ 的概率，即 ${X1=x1,X2=x2,X3=x3,⋯ ,Xn=xn}\{X_1=x_1,X_2=x_2,X_3=x_3,\cdots,X_n=x_n\}$ 的概率为
$L(\theta)=L(x_1,x_2,x_3,\cdots,x_n;\theta)=\prod\limits^n_{i=1}p(x_i;\theta),\theta\in\Theta$
$L(θ)L(\theta)$ 称为样本的似然函数

最大似然估计的求解步骤

1.写出似然函数
$L(θ)=L(x1,x2,x3,⋯ ,xn;θ)=∏i=1np(xi;θ)L(\theta)=L(x_1,x_2,x_3,\cdots,x_n;\theta)=\prod\limits^n_{i=1}p(x_i;\theta)$
或者
$L(θ)=L(x1,x2,x3,⋯ ,xn;θ)=∏i=1nf(x;θ)L(\theta)=L(x_1,x_2,x_3,\cdots,x_n;\theta)=\prod\limits^n_{i=1}f(x;\theta)$
2.取对数
$\begin{aligned} &lnL(\theta)=\sum\limits^n_{i=1}ln\ p(x_i;\theta)\\ &或者\\ &lnL(\theta)=\sum\limits^n_{i=1}ln\ f(x_i;\theta) \end{aligned}$
3.对 $θ\theta$ 求导 $dlnL(θ)dθ\frac{dlnL(\theta)}{d\theta}$ ，并且令 $dlnL(θ)dθ=0\frac{dlnL(\theta)}{d\theta}=0$ ，解方程即得未知参数 $θ\theta$ 的最大似然估计值 $θ^\hat{\theta}$ 。

例题

设总体 $X$ 在 $[a, b]$ 上服从均匀分布, 其中 $a, b$ 未知， $x1,x2,x3,⋯ ,xnx_1,x_2,x_3,\cdots,x_n$ 是来自总体 $X$ 的一个样本值,求 $a, b$ 的最大似然估计量。
解：令
$\begin{aligned} x_{min}=min{x_1,x_2,x_3,\cdots,x_n} \\x_{max}=max{x_1,x_2,x_3,\cdots,x_n} \end{aligned}$
$X$ 的概率密度函数为
$\begin{aligned} f(x;a,b)={\left\{\begin{aligned}&\frac{1}{b-a},a\leq x\leq b\\ &0,\quad \quad 其他 \end{aligned} \right.} \end{aligned}$
则似然函数为
$\begin{aligned} L(a,b)={\left\{\begin{aligned}&\frac{1}{(b-a)^n},a\leq x_1,x_2,x_3,\cdots,x_n\leq b\\ &\quad \ 0,\quad \quad \quad 其他 \end{aligned} \right.} \end{aligned}$
由于 $a≤x1,x2,x3,⋯ ,xnvba\leq x_1,x_2,x_3,\cdots,x_nvb$ 即 $a≤xmin,xmax≤ba\leq x_{min},x_{max}\leq b$
所以
$\begin{aligned} L(a,b)={\left\{\begin{aligned}&\frac{1}{(b-a)^n},a\leq x_{min},x_{max}\leq b\\ &\quad \ 0,\quad \quad \quad 其他 \end{aligned} \right.} \end{aligned}$
对于满足条件的 $a≤xmin,xmax≤ba\leq x_{min},x_{max}\leq b$ 的任意 $a, b$ 有
$L(a,b)=\frac{1}{(b-a)^n}\leq \frac{1}{(x_{max}-x_{min})^2}$
即似然函数在 $a=x_{min},b=x_{max}$ 时取得最大值 $1(xmax−xmin)2\frac{1}{(x_{max}-x_{min})^2}$ 。
所以 $a, b$ 的最大似然估计值为
$a^=xmin=min⁡1≤i≤nxib^=xmax=max⁡1≤i≤nxi \begin{aligned} \hat{a}=x_{min}=\min\limits_{1\leq i\leq n}x_i \\\hat{b}=x_{max}=\max\limits_{1\leq i\leq n}x_i \end{aligned}$
$a, b$ 的最大似然估计量为
$a^=min⁡1≤i≤nXib^=max⁡1≤i≤nXi \begin{aligned} \hat{a}=\min\limits_{1\leq i\leq n}X_i \\\hat{b}=\max\limits_{1\leq i\leq n}X_i \end{aligned}$