无偏估计 与 方差缩小 (非常详细版）

1. 无偏估计

1.1 核心概念与定义

无偏估计是统计学中点估计的一个核心属性，旨在确保估计量在长期平均意义下不会系统性地偏离真实参数值。

数学定义：
令 $\theta$ 为总体参数（如均值 $\mu$、方差 ${\sigma }^2$、或回归系数 $\beta$），$\hat{\theta }$ 为基于样本的估计量。一个估计量 $\hat{\theta }$ 是 $\theta$ 的无偏估计量，当且仅当 $E[\hat{\theta }]=\theta$，其中 $E[\hat{\theta }]$ 是 $\hat{\theta }$ 的期望值，基于样本的概率分布计算。

直观解释：

• 无偏性意味着，如果你从同一总体中反复抽样并计算 $\hat{\theta }$，这些估计值的平均值会趋向于真实参数 $\theta$。
• 例如，样本均值 $\bar{X}$ 是总体均值 $\mu$ 的无偏估计量，意味着无论样本大小如何，$\bar{X}$ 的期望总是 $\mu$。

偏差：
偏差定义为 $\text{Bias}(\hat{\theta })=E[\hat{\theta }]-\theta$。无偏估计量满足 $\text{Bias}(\hat{\theta })=0$。

1.2 为什么需要无偏估计？

• 统计推断的基础：无偏估计量是构建置信区间、假设检验等统计方法的基础。例如，置信区间的中心点通常是无偏估计量。
• 理论保证：无偏性提供了一个“公平”的估计标准，避免系统性误差。
• 可验证性：在理论分析中，无偏估计量的性质更容易推导和验证。

1.3 常见无偏估计量的推导与性质

以下详细推导几个经典的无偏估计量，展示其数学性质。

1.3.1 样本均值估计总体均值

场景：
假设从总体中抽取 $n$ 个独立同分布 (i.i.d.) 的样本 $X_1,X_2,\dots ,X_n$，总体均值为 $\mu =E[X_i]$，方差为 ${\sigma }^2=\text{Var}(X_i)$。

估计量：
样本均值为 $$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$。

无偏性证明：
$$E[\bar{X}]=E\left[\frac{1}{n}\sum _{i=1}^n{X}_i\right]=\frac{1}{n}\sum _{i=1}^{n}E[X_i]=\frac{1}{n}\cdot n\mu =\mu$$
因此，$\bar{X}$ 是 $\mu$ 的无偏估计量。

方差：
$$\text{Var}(\bar{X})=\text{Var}\left(\frac{1}{n}\sum _{i=1}^n{X}_i\right)=\frac{1}{n^2}\sum _{i=1}^n\text{Var}(X_i)=\frac{1}{n^2}\cdot n{\sigma }^2=\frac{{\sigma }^2}{n}$$
样本均值的方差随样本量 $n$ 增加而减小，表明其稳定性提高。

1.3.2 样本方差估计总体方差

场景：
继续假设样本 $X_1,X_2,\dots ,X_n$，总体方差为 ${\sigma }^2=E[(X_i-\mu {)}^2]$。

估计量：
样本方差定义为 $$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2$$，注意分母是 $n-1$，这是为了确保无偏性。

无偏性证明：
要证明 $E[S^2]={\sigma }^2$，我们需要计算：
$$E[S^2]=E\left[\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2\right]$$
首先，展开平方项：
$$\sum _{i=1}^n(X_i-\bar{X}{)}^2=\sum _{i=1}^n(X_i-\mu -(\bar{X}-\mu ){)}^2=\sum _{i=1}^n(X_i-\mu {)}^2-$$