一般回归问题、线性回归与模型的正确设定

1 一般回归问题

一般来说，计量经济学教材会从线性回归讲起，但这里再在线性回归之前，理一理更一般性的回归问题。

先看定义一下什么叫回归：

定义1 回归函数（Regression Function）：$\mathbb{E}(y|\mathbf{x})$就是$y$对$\mathbf{x}$的回归函数。

再定义一个度量预测得好不好的指标：

定义2 均方误（Mean Squared Error，MSE）：假设用$g(\mathbf{x})$预测$y$，则预测量$g(\mathbf{x})$的均方误为 $$\text{MSE}(g)=\mathbb{E}[y-g(\mathbf{x}){]}^2$$

最好的预测函数的形式是什么？以下定理表明，最好的预测函数，恰恰就是回归函数即条件期望。

定理1 MSE的最优解：$\mathbb{E}(y|\mathbf{x})$是以下问题的最优解：
$$\mathbb{E}(y|\mathbf{x})=\arg \underset{g\in \mathbb{F}}{\min }\text{MSE}(g)=\arg \underset{g\in \mathbb{F}}{\min }\mathbb{E}[y-g(\mathbf{x}){]}^2$$
其中$\mathbb{F}$是所有可测和平方可积函数的集合（space of all measurable and square-integrable functions）：
F={ g:Rk+1→R∣∫g2(x)fX(x) dx<∞} \mathbb{F}=\{ g:\mathbb{R}^{k+1}\to\mathbb{R} \Big| \int g^2(\mathbf{x})f_X(\mathbf{x})\,d\mathbf{x}<\infty\} F={ g:Rk+1→R∣∣∣​∫g2(x)fX​(x)dx<∞}

在该定理中，直接求解最值问题比较复杂，需要用到变分法，用构造法证明该定理比较简单，直接对$\text{MSE}(g)$做分解即可。令$g_0(\mathbf{x})\equiv \mathbb{E}(y|\mathbf{x})$，则有
$$\begin{array}{rl}\text{MSE}(g)=& \mathbb{E}[y-g_0(\mathbf{x})+g_0(\mathbf{x})-g(\mathbf{x}){]}^2\\ =& \mathbb{E}[y-g_0(\mathbf{x}){]}^2+\mathbb{E}[g_0(\mathbf{x})-g(\mathbf{x}){]}^2+2\mathbb{E}[\left(y-g_0(\mathbf{x})\right)(\\ =& \end{array}$$