[概率论基本概念4]什么是无偏估计

无水先生

已于 2025-06-03 15:49:33 修改

阅读量1.4k

点赞数 27

CC 4.0 BY-SA版权

分类专栏：概率模型统计学模型文章标签：概率论

于 2025-06-03 15:06:02 首次发布

本文链接：https://blog.youkuaiyun.com/gongdiwudu/article/details/148210367

统计学模型同时被 2 个专栏收录

62 篇文章

订阅专栏

概率模型

17 篇文章

订阅专栏

关键词：Unbiased Estimation

一、说明

对于无偏和有偏估计，需要了解其叙事背景，是指整体和抽样的关系，也就是说整体的叙事是从理论角度的，而估计器原理是从实践角度说事；为了表明概率理论（不可操作）和统计学（可操作）的实践的一致性，于是提出有偏和无偏的观点。

二、关于无偏和有偏

如果给定参数的估计量的预期值等于该参数的真实值，则称该估计量是无偏的。另一个说法，如果估计量产生的参数估计平均而言是正确的，那么它就是无偏的。
我们先做一个思想实验，如通过打靶考核射手的水平，假如决定射手的因素有两个：眼力和手平衡。
在这里插入图片描述
于是对于任意一个选手，这个选手的属性如下：

<眼力=1，手平衡=1>,<眼力=0，手平衡=1>,<眼力=1，手平衡=0>,
<眼力=0，手平衡=0>

打靶结果
在这里插入图片描述
我们从上面例子解释“无偏”和“有偏”的关系。在以上打靶结果中，
<眼力=1，手平衡=1>和<眼力=1，手平衡=0>属于“无偏”
<眼力=0，手平衡=1>和<眼力=0，手平衡=0>属于“有偏”
为什么呢？
我们考虑打靶的重心值：
$Xˉ=∑i=13Xi\bar{X}=\sum^{3}_{i=1}X_i$
当 $Xˉ\bar{X}$ 的极限等于把心c，那么就是无偏的，否则就是有偏的。

注意：有偏估计也不是没有意义的。只要能给出固定偏移，不难将无偏估计转化成无偏估计。

三、偏差和无偏差估计器

如果估计器 $u(X1,X2,…,Xn)u(X_1,X_2,\ldots,X_n)$ 以下情况成立：
$E[u(X1,X2,…,Xn)]=θE[u(X_1,X_2,\ldots,X_n)]=\theta$ 那么统计 $u(X1,X2,…,Xn)u(X_1,X_2,\ldots,X_n)$ 是参数的无偏估计量 $θ\theta$ 。否则， $u(X1,X2,…,Xn)u(X_1,X_2,\ldots,X_n)$ 是一个有偏估计 $θ\theta$ 。

3.1 贝努力变量p的无偏估计

如果 $X_i$ 是具有参数的伯努利随机变量 $p$ , 那么：
$p^=1n∑i=1nXi\hat{p}=\dfrac{1}{n}\sum\limits_{i=1}^nX_i$
是最大似然估计量（MLE） $p^\hat{p}$ 是p的无偏估计量.

证明：
回想一下，如果 $X_i$ 是具有参数的伯努利随机变量 $p$ ，那么 $E(X_i)=p$
。这里对估计器求期望：
$E(p^)=E(1n∑i=1nXi)=1n∑i=1nE(Xi)=1n∑i=1np=1n(np)=pE(\hat{p})=E\left(\dfrac{1}{n}\sum\limits_{i=1}^nX_i\right)=\dfrac{1}{n}\sum\limits_{i=1}^nE(X_i)=\dfrac{1}{n}\sum\limits_{i=1}^np=\dfrac{1}{n}(np)=p$

第一个等式成立，因为我们只是替换了 $p^\hat{p}$ 及其定义。第二个等式根据线性组合的期望规则成立。第三个等式成立，因为 $E(X_i)=p$ 。第四个等式成立，因为当你添加值p向上连加n次，你得到np。当然，最后一个等式是简单的代数。

总而言之，我们已经证明： $E（p^）=pE（\hat {p}）= p$
因此，最大似然估计量是p。

3.2 正态分布的无偏估计

如果 $X_i$ 是具有均值的正态分布的随机变量,参数 $μ\mu$ 和方差 $σ2\sigma^2$ 的无偏估计是：
$μ^=∑Xin=Xˉ\hat{\mu}=\dfrac{\sum X_i}{n}=\bar{X}$
$σ^2=∑(Xi−Xˉ)2n\hat{\sigma}^2=\dfrac{\sum(X_i-\bar{X})^2}{n}$
下面用无偏性估计定义进行验证：
只要证明： $E(Xi)=μE(X_i)=\mu$ 和 $Var(Xi)=σ2\text{Var}(X_i)=\sigma^2$ 就可以。

$E(Xˉ)=E(1n∑i=1nXi)=1n∑i=1nE(Xi)=1n∑i=1μ=1n(nμ)=μE(\bar{X})=E\left(\dfrac{1}{n}\sum\limits_{i=1}^nX_i\right)=\dfrac{1}{n}\sum\limits_{i=1}^nE(X_i)=\dfrac{1}{n}\sum\limits_{i=1}\mu=\dfrac{1}{n}(n\mu)=\mu$
第一个等式成立，因为我们只是用 $Xˉ\bar{X}$ 及其定义。同样，第二个相等性符合线性组合的期望规则。第三个相等性成立，因为 $E(Xi)=μE(X_i)=\mu$ .第四个相等性成立，因为当您将值 $μ\mu$ 累加n次倍，你会得到np。最后一个相等是简单代数。
总之，我们已经证明： $E(Xˉ)=μE(\bar{X})=\mu$
因此，最大似然估计量为 $μ\mu$ 是公正的.
下面我们证明 $σ^2=∑(Xi−Xˉ)2n\hat{\sigma}^2=\dfrac{\sum(X_i-\bar{X})^2}{n}$ 也是公正无偏的。
首先回顾方差的基本定义：
$Var(X)=E( （X-E（X））^2)=E(X^2)-E(X)^2$
对于独立同分布的抽样样本 $(X1,X2,…,Xn)(X_1,X_2,\ldots,X_n)$ ，每个随机变量数值特征是一样的，也就是说：
$E(X1）=E（X2）=,…,E（Xn)=μE(X_1）=E（X_2）=,\ldots,E（X_n)=\mu$
$Var(X)=Var(X1）=Var（X2）=,…,Var（Xn)=σ2Var(X)=Var(X_1）=Var（X_2）=,\ldots,Var（X_n)=\sigma^2$
下面我们将给出证明
$E(σ^2)=E(∑(Xi−Xˉ)2n)=∑E(Xi−Xˉ)2n=∑E(Xi2−2X2Xˉ+Xˉ2)n=∑[E(Xi2)−2E(XiXˉ)+E(Xˉ)2]n=∑[E(Xi2)−2E(Xi)Xˉ+(Xˉ)2)n=∑[E(Xi2)−Xˉ2]n=n[E(X2)−EXˉ2]n=E(X2)−EXˉ2=σ2E(\hat{\sigma}^2)=E(\dfrac{\sum(X_i-\bar{X})^2}{n})=\dfrac{\sum E(X_i-\bar{X})^2}{n}=\dfrac{\sum E(X_i^2-2X_2\bar{X}+\bar{X}^2)}{n}=\dfrac{\sum[ E(X_i^2)-2E(X_i\bar{X})+E(\bar{X})^2]}{n}=\dfrac{\sum[ E(X_i^2)-2E(X_i)\bar{X}+(\bar{X})^2)}{n}=\dfrac{\sum[ E(X_i^2)- \bar{X}^2]}{n}=\dfrac{n[ E(X^2)- E\bar{X}^2]}{n}= E(X^2)- E\bar{X}^2=\sigma^2$
第一个等号是等价代换，第二个等号E（期望）的线性等价性质。第三个等号。代数展开。第四个等号，期望线性恒等式。第五个等式，因为 $Xˉ\bar X$ 不是随机变量，而 $X_i$ 是随机变量，因此用 $E (c X ） = c E （ X ）$ 和 $E(Xˉ)=XˉE(\bar X)=\bar X$ 简化；第六个等式，因为 $E（X_i）=E（X）$ 这是因为两个随机变量的期望是一致的。第七个等式代数加和展开。第八等式，正态分布方差公式简化版。从而 $E(σ2^)=σ2E(\hat{\sigma^2})=\sigma^2$ 得证。