经验分布函数无偏性的证明和方差的推导

经验分布函数

定义：$X_1,\cdots ,X_n\sim F$为IID样本，F是某个分布函数。则F的一个估计为经验分布函数：$$\widehat{F_n}(x)=\frac{{\sum }_{i=1}^{N}I(X_i<x)}{n}$$上式的含义是在每一个数据处放置一个$\frac{1}{n}$的概率密度。个人理解就是类似于一个累计直方图。
其中，$I(X_i<x)$是示性函数，括号内满足时为1，不满足时为0。特别注意上式是关于$x$的函数。

无偏性

下面我要证明这个估计是一个无偏估计。
$$\begin{array}{rl}E[\widehat{F_n}(x)]& =E[\frac{{\sum }_{i=1}^{N}I(X_i<x)}{n}]\\ & =\frac{1}{n}\sum _{i=1}^{N}E[I(X_i<x)]\\ & =\frac{1}{n}\sum _{i=1}^N{\int }_{x}I(X_i<x)f_X(x)dx\\ & =\frac{1}{n}\sum _{i=1}^N{\int }_{X_i<x}{f}_X(x)dx\\ & =\frac{1}{n}\sum _{i=1}^{N}P(X_i<x)\\ & =F(x)\end{array}$$

方差的推导

$$\begin{array}{rl}\mathbb{V}(\widehat{F_n}(x))& =V(\frac{{\sum }_{i=1}^{N}I(X_i<x)}{n})\\ & =\frac{1}{n^2}\sum _{i=1}^{N}V(I(X_i<x))\\ & =\frac{1}{n^2}\sum _{i=1}^N(E(I(X_i<x{)}^2)-(E(I(X_i<x)){)}^2)\\ & =\frac{1}{n^2}\sum _{i=1}^N(E(I(X_i<x)-(E(I(X_i<x)){)}^2)\\ & =\frac{1}{n^2}\sum _{i=1}^N(F(x)-F(x{)}^2)\\ & =\frac{F(x)(1-F(x))}{n}\end{array}$$
这里面用到了示性函数的平方等于它本身的特点。

这实际上也是Larry Wasserman《All of statistics》定理7.3的证明，也就是课后习题第一道。证明过程都是自己写的，不一定正确，欢迎大家来探讨。