样本方差公式推导--为什么样本方差的分母是n-1

样本方差无偏估计

原创

已于 2022-05-25 21:38:40 修改 · 2k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#概率论 #机器学习 #矩阵 #数字信号处理 #算法

于 2022-05-25 00:09:35 首次发布

概要

因为使用n作为分母会导致方差被低估，将分母替换为n-1可以保证样本方差是一种无偏估计

理想情况

首先，我们假定随机变量 $X$ 的数学期望 $μ\mu$ 是已知的，然而方差 ${\sigma }^{2}}$ 未知。如果我们得到一组随机变量 $X$ 的样本 $Xi,i=1,2,3...n}\left\{ { {X}_{i}},i=1,2,3...n \right\}$ 。

在这个条件下，根据方差的定义我们有：

$E[(Xi−μ)2]=σ2,∀i=1,…,nE\left[ { {\left( { {X}_{i}}-\mu \right)}^{2}} \right]={ {\sigma }^{2}},\quad \forall i=1,\ldots ,n$

由此可得：

$E[1n∑i=1n(Xi−μ)2]=σ2E\left[ \frac{1}{n}\sum\limits_{i=1}^{n}{ { {\left( { {X}_{i}}-\mu \right)}^{2}}} \right]={ {\sigma }^{2}}$

因此， $1n∑i=1n(Xi−μ)2\frac{1}{n}\sum\limits_{i=1}^{n}{ { {\left( { {X}_{i}}-\mu \right)}^{2}}}$ 是方差 ${\sigma }^{2}}$ 的一个无偏估计。此时，除的分母仍然是 $n$ 。

使用样本均值代替数学期望

现在，假定随机变量 $X$ 的数学期望 $μ\mu$ 是未知的，我们使用样本数据来估计数学期望 $μ\mu$ ：

$Xˉ=1n∑i=1nXi\bar{X}=\frac{1}{n}\sum\limits_{i=1}^{n}{ { {X}_{i}}}$

如果我们直接使用上式，代替数学期望 $μ\mu$ ，则会导致低估方差，如下所示：

$E(1n∑i=1n(Xi−Xˉ)2)=E(1n∑i=1n[(Xi−μ)+(μ−Xˉ)]2)=E(1n∑i=1n(Xi−μ)2+2n∑i=1n(Xi−μ)(μ−Xˉ)+1n∑i=1n(μ−Xˉ)2)=E(1n∑i=1n(Xi−μ)2+2(Xˉ−μ)(μ−Xˉ)+(μ−Xˉ)2)=E(1n∑i=1n(Xi−μ)2−(μ−Xˉ)2)≤E(1n∑i=1n(Xi−μ)2)=σ2\begin{array}{l} E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\bar{X}\right)^{2}\right)=E\left(\frac{1}{n} \sum_{i=1}^{n}\left[\left(X_{i}-\mu\right)+(\mu-\bar{X})\right]^{2}\right) \\ =E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+\frac{2}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)(\mu-\bar{X})+\frac{1}{n} \sum_{i=1}^{n}(\mu-\bar{X})^{2}\right) \\ =E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}+2(\bar{X}-\mu)(\mu-\bar{X})+(\mu-\bar{X})^{2}\right) \\ =E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}-(\mu-\bar{X})^{2}\right) \\ \leq E\left(\frac{1}{n} \sum_{i=1}^{n}\left(X_{i}-\mu\right)^{2}\right)=\sigma^{2} \end{array}$

最低0.47元/天解锁文章