条件期望误差的有限性

1 CEF error的有限性问题

在回归中，记条件期望函数（conditional expectation function，CEF）为$E[Y|X=x]$，则可将因变量$Y$分解为
$$Y=E[Y|X=x]+e$$
可记$e=Y-E[Y|X=x]$为条件期望函数误差（CEF error）。

显然，$e$满足$E[e|X]=0$，$E[e]=0$，这些都很容易证明。下面来看一个关于$e$的有限性的问题：

若对于$r>1$有$E[|Y{|}^r]<\infty$，求证$E[|e{|}^r]<\infty$。

从直觉上说，$e$是用条件期望函数对$Y$做了解释后留下的残差，那么$Y$的有限性应该可以保证$e$的有限性。但要证明它，却比较复杂。

2 证明

首先我们利用Minkowski不等式，有
$$\begin{array}{rl}& {\left(E[|e{|}^r]\right)}^{1/r}\\ =& {\left(E\left[|Y-E[Y|X=x]{|}^r\right]\right)}^{1/r}\\ \le & {\left(E\left[|Y{|}^r\right]\right)}^{1/r}+{\left(E\left[|E[Y|X=x]{|}^r\right]\right)}^{1/r}\end{array}$$

由已知条件，第一项${\left(E\left[|Y{|}^r\right]\right)}^{1/r}$是有限的。

对于第二项，由于$g(\cdot )=|\cdot {|}^r$在$r\ge 1$时为凸函数，由Jensen不等式$g(E[Y|X])\le E[g(Y)|X]$，即有
$$|E[Y|X]{|}^r\le E[|Y{|}^r|X]$$
再对两边取期望后取$1/r$次幂，可得
$${\left(E\left[|E[Y|X]{|}^r\right]\right)}^{1/r}\le {\left(E[|Y{|}^r]\right)}^{1/r}$$
由已知条件可知，这一项也是有限的。

3 扩展

若我们关注$r=2$，就变成了CEF error的无条件方差${\sigma }^2=E[e^2]=\text{Var}[e]$。结论重新表述如下：

若$E[Y^2]<\infty$，则${\sigma }^2<\infty$。

事实上，若对于多个解释变量，则不断加入解释变量后，残差的方差必将减小，即若$E[Y^2]<\infty$，必有
$$\text{Var}[Y]\ge \text{Var}[Y-E[Y|X_1]]\ge \text{Var}[Y-E[Y|X_1,X_2]]$$

为什么？

证明：先利用$E[Y|X_1]=E[E[Y|X_1,X_2]|X_1]$和Jensen不等式，我们可以得到
$${\left(E[Y|X_1]\right)}^2=(E[E[Y|X_1,X_2]|X_1]{)}^2\le E[{\left(E[Y|X_1,X_2]\right)}^2|X_1]$$

两边取期望后有
$$E\left[{\left(E[Y|X_1]\right)}^2\right]\le E\left[{\left(E[Y|X_1,X_2]\right)}^2\right]$$

同理，利用$E[Y]=E[E[Y|X_1]]$和Jensen不等式，可得到$(E[Y]{)}^2\le E\left[{\left(E[Y|X_1]\right)}^2\right]$，与上面的式子放在一起有
$$(E[Y]{)}^2\le E\left[{\left(E[Y|X_1]\right)}^2\right]\le E\left[{\left(E[Y|X_1,X_2]\right)}^2\right]$$

三个地方都同时减去$(E[Y]{)}^2$，可得
$$0\le \text{Var}\left[E[Y|X_1]\right]\le \text{Var}\left[E[Y|X_1,X_2]\right]$$

另一方面，我们已有$e=Y-E[Y|X]$，再记$u=E[Y|X]-E[Y]$，则$E[eu]=0$，因此
$$\begin{array}{rl}& \text{Var}[Y]\\ =& \text{Var}[e+u]\\ =& \text{Var}[e]+\text{Var}[u]\\ =& \text{Var}[Y-E[Y|X]]+\text{Var}[E[Y|X]]\end{array}$$

而$\text{Var}[Y]$为常数，因此，$\text{Var}[E[Y|X]]$越大，$\text{Var}[Y-E[Y|X]]$越小，即
$$\text{Var}[Y]\ge \text{Var}[Y-E[Y|X_1]]\ge \text{Var}[Y-E[Y|X_1,X_2]]$$