【计量经济学】【高教版】第一次作业（7、8、10）

第二次

7.假设有人做了如下的回归：
$y_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i+e_i$
其中，$y_i,x_i$分别为$Y_i,X_i$关于各自均值的离差。问$\widehat{{\beta }_0}和\widehat{{\beta }_1}$将分别取何值？

8.记样本回归模型为$Y_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i+e_i$,试证明普通最小二乘法估计的如下数值特征：
（1）估计的Y的均值等于实测的Y的均值：$\hat{Y}=\bar{Y}$;
（2）点($\bar{X}$,$\bar{Y}$)总在样本回归线上；
（3）残差和为0，从而残差的均值为0：$\Sigma e_i$=0,$\bar{e}$=0;
（4）残差与X不相关：$\Sigma e_i{X}_i=0$;
（5）残差与估计的Y不相关：$\Sigma e_i\widehat{Y_i}=0$;
（6）残差项与Y离差的估计不相关：$\Sigma e_i\widehat{y_i}=0$;

10.试证明：Y关于X的普通最小二乘回归，其可决系数$R^2$就是X与Y之间线性相关系数r的平方。

7

根据一元线性回归的最小二乘估计公式，可以得到 $\widehat{{\beta }_1}$ 和 $\widehat{{\beta }_0}$ 的表达式分别为：

其中，$\bar{x}$ 和 $\bar{y}$ 分别为 $x_i$ 和 $y_i$ 的样本均值。由题可知，$y_i$ 和 $x_i$ 分别为 $Y_i$ 和 $X_i$ 关于各自均值的离差，因此可以将 $\bar{x}=0$ 和 $\bar{y}=0$ 代入上述公式，得到：

因此，$\widehat{{\beta }_0}=0$，$\widehat{{\beta }_1}$ 可以根据上述公式计算。

8

（1）估计的Y的均值等于实测的Y的均值：$\hat{Y}=\bar{Y}$

根据样本回归模型，我们有：

$$\hat{Y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}X$$

其中，$\widehat{{\beta }_0}$和$\widehat{{\beta }_1}$是通过最小化残差平方和来进行估计的。因此，我们有：

$$\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i{)}^2$$

将$\hat{Y}$代入上式，得到：

$$\sum _{i=1}^n{e}_i^2=\sum _{i=1}^n(Y_i-\hat{Y}{)}^2$$

由于$\hat{Y}$是通过最小化残差平方和来估计的，因此它是使得${\sum }_{i=1}^n(Y_i-\hat{Y}{)}^2$最小的值。这意味着$\hat{Y}$是实际Y的均值$\bar{Y}$，因为$\bar{Y}$也是使得${\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2$最小的值。

因此，我们有$\hat{Y}=\bar{Y}$。

（2）点($\bar{X}$,$\bar{Y}$)总在样本回归线上

样本回归线可以表示为$Y=\widehat{{\beta }_0}+\widehat{{\beta }_1}X$。将$X$替换为$\bar{X}$，$Y$替换为$\hat{Y}$，得到：

$$\hat{Y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}\bar{X}$$

由（1）可知，$\hat{Y}=\bar{Y}$，因此：

$$\bar{Y}=\widehat{{\beta }_0}+\widehat{{\beta }_1}\bar{X}$$

这意味着点($\bar{X}$,$\bar{Y}$)在样本回归线上。

（3）残差和为0，从而残差的均值为0：$\Sigma e_i$=0,$\bar{e}$=0

样本回归模型可以表示为$Y_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i+e_i$。将$\hat{Y}$代入得到：

$$e_i=Y_i-\hat{Y}=(Y_i-\bar{Y})-(\hat{Y}-\bar{Y})$$

因为$\hat{Y}=\bar{Y}$，所以：

$$e_i=(Y_i-\bar{Y})-(\bar{Y}-\hat{Y})=Y_i-\bar{Y}$$

因此，

$$\sum _{i=1}^n{e}_i=\sum _{i=1}^n(Y_i-\bar{Y})=0$$

这意味着残差的和为0，从而残差的均值为0，即$\bar{e}=0$。

（4）残差与X不相关：$\Sigma e_i{X}_i=0$

样本回归模型可以表示为$Y_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i+e_i$。将$e_i$代入得到：

$$Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i=e_i$$

左右两边同时乘以$X_i$：

$$X_i{Y}_i-\widehat{{\beta }_0}{X}_i-\widehat{{\beta }_1}{X}_i^2=X_i{e}_i$$

对所有的$i$进行求和：

$$\sum _{i=1}^n{X}_i{Y}_i-\widehat{{\beta }_0}\sum _{i=1}^n{X}_i-\widehat{{\beta }_1}\sum _{i=1}^n{X}_i^2=\sum _{i=1}^n{X}_i{e}_i$$

因为最小化残差平方和的条件是${\sum }_{i=1}^n{X}_i{e}_i=0$，所以：

$$\sum _{i=1}^n{X}_i{Y}_i-\widehat{{\beta }_0}\sum _{i=1}^n{X}_i-\widehat{{\beta }_1}\sum _{i=1}^n{X}_i^2=0$$

将$\widehat{{\beta }_0}$和$\widehat{{\beta }_1}$的表达式代入，得到：

$$\sum _{i=1}^n{X}_i{Y}_i-\frac{{\sum }_{i=1}^n{X}_i{\sum }_{i=1}^n{Y}_i}{n}-\frac{{\sum }_{i=1}^n{X}_i^2{\sum }_{i=1}^n{Y}_i}{{\sum }_{i=1}^n{X}_i^2}=0$$

这个式子可以写成：

$$\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{n-1}=0$$

因此，残差$e_i$与$X_i$不相关。

（5）残差与估计的Y不相关：$\Sigma e_i\widehat{Y_i}=0$

因为$\widehat{Y_i}$是通过最小化残差平方和来估计的，所以残差与$\widehat{Y_i}$之间的协方差应该为0。因此，我们有：

$$Cov(e_i,\widehat{Y_i})=E(e_i\widehat{Y_i})-E(e_i)E(\widehat{Y_i})=0$$

因为$E(e_i)=0$，所以：

$$E(e_i\widehat{Y_i})=0$$

因此，

$$\sum _{i=1}^n{e}_i\widehat{Y_i}=0$$

（6）残差项与Y离差的估计不相关：$\Sigma e_i\widehat{y_i}=0$

根据样本回归模型，$y_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$，其中$y_i$表示Y的离差

将$\widehat{y_i}$代入得到：

$$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$$

将残差$e_i=Y_i-\widehat{y_i}$代入，得到：

$$e_i=Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i=Y_i-\widehat{y_i}$$

因此，

$$\sum _{i=1}^n{e}_i\widehat{y_i}=\sum _{i=1}^n(Y_i-\widehat{y_i})\widehat{y_i}=\sum _{i=1}^n{Y}_i\widehat{y_i}-\sum _{i=1}^n{\widehat{y_i}}^2$$

我们需要证明${\sum }_{i=1}^n{Y}_i\widehat{y_i}={\sum }_{i=1}^n{\widehat{y_i}}^2$。

首先，我们有：

$$\sum _{i=1}^n{Y}_i\widehat{y_i}=\sum _{i=1}^n{Y}_i(\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i)$$

将$\widehat{{\beta }_0}$和$\widehat{{\beta }_1}$的表达式代入，得到：

$$\sum _{i=1}^n{Y}_i\widehat{y_i}=\sum _{i=1}^n{Y}_i\left(\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}+\frac{\bar{Y}{\sum }_{i=1}^n{x}_i-\bar{X}{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{x}_i\right)$$

将$\bar{X}$和$\bar{Y}$代入，得到：

$$\sum _{i=1}^n{Y}_i\widehat{y_i}=\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\sum _{i=1}^n{x}_i+\frac{\bar{Y}{\sum }_{i=1}^n{x}_i-\bar{X}{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\sum _{i=1}^n{x}_i$$

因为${\sum }_{i=1}^n{x}_i{Y}_i={\sum }_{i=1}^n{x}_i\widehat{y_i}+{\sum }_{i=1}^n{x}_i{e}_i$，所以：
现在我们将证明 ${\sum }_{i=1}^n{e}_i\widehat{y_i}=0$，即

$$\sum _{i=1}^n(Y_i-\widehat{y_i})\widehat{y_i}=0$$

将 $\widehat{y_i}$ 代入，我们得到

$$\sum _{i=1}^n(Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i)(\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i)=0$$

展开括号并化简，我们得到

$$\sum _{i=1}^n(\widehat{{\beta }_0}{Y}_i+\widehat{{\beta }_1}{x}_i{Y}_i-\widehat{{\beta }_0}\widehat{{\beta }_1}{x}_i-\widehat{{\beta }_1}{x}_i^2)=0$$

代入 $\widehat{{\beta }_0}$ 和 $\widehat{{\beta }_1}$ 的表达式，得到

$$\sum _{i=1}^n(\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{Y}_i+\frac{n\bar{Y}{\sum }_{i=1}^n{x}_i-\bar{X}{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{x}_i{Y}_i-\frac{{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{Y}_i-n\bar{X}\bar{Y}}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\cdot \frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{x}_i-\frac{\bar{X}{\sum }_{i=1}^n{x}_i{Y}_i-\bar{Y}{\sum }_{i=1}^n{x}_i^2}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{x}_i^2)=0$$

将 $n$ 乘到每一项，我们有

现在我们要证明 ${\sum }_{i=1}^n{e}_i\widehat{Y_i}=0$，即

$$\sum _{i=1}^n(Y_i-\widehat{Y_i})\widehat{Y_i}=0$$

将 $\widehat{Y_i}$ 代入，我们得到

$$\sum _{i=1}^n(Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{x}_i)(\widehat{{\beta }_0}+\widehat{{\beta }_1}\bar{X})=0$$

展开括号并化简，我们得到

$$\sum _{i=1}^n(\widehat{{\beta }_0}{Y}_i+\widehat{{\beta }_1}\bar{X}{Y}_i-\widehat{{\beta }_0}\widehat{{\beta }_1}\bar{X}-\widehat{{\beta }_1}{x}_i\bar{X})=0$$

代入 $\widehat{{\beta }_0}$ 和 $\widehat{{\beta }_1}$ 的表达式，得到

$$\sum _{i=1}^n(\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{Y}_i+\frac{n\bar{Y}{\sum }_{i=1}^n{x}_i-\bar{X}{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\bar{X}{Y}_i-\frac{{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{Y}_i-n\bar{X}\bar{Y}}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\cdot \frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i-{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{x}_i{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\bar{X}-\frac{\bar{X}{\sum }_{i=1}^n{x}_i{Y}_i-\bar{Y}{\sum }_{i=1}^n{x}_i^2}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{x}_i\bar{X})=0$$

将 $n$ 乘到每一项，我们有
$$\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}+\frac{n\bar{Y}{\sum }_{i=1}^n{x}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}-\frac{{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}-\frac{{\sum }_{i=1}^n{x}_i\bar{X}{\sum }_{i=1}^n{Y}_i-n\bar{X}\bar{Y}{\sum }_{i=1}^n{x}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}-\frac{\bar{X}{\sum }_{i=1}^n{x}_i{Y}_i-\bar{Y}{\sum }_{i=1}^n{x}_i^2}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{x}_i=0$$

将 $\bar{X}$ 和 $\bar{Y}$ 的表达式代入，我们得到

$$\frac{{\sum }_{i=1}^n{x}_i^2{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}+\frac{n{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}\cdot \frac{{\sum }_{i=1}^n{x}_i}{n}-\frac{{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{Y}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}-\frac{{\sum }_{i=1}^n{x}_i{\sum }_{i=1}^n{Y}_i-n\bar{X}\bar{Y}{\sum }_{i=1}^n{x}_i}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}-\frac{\bar{X}{\sum }_{i=1}^n{x}_i{Y}_i-\bar{Y}{\sum }_{i=1}^n{x}_i^2}{n{\sum }_{i=1}^n{x}_i^2-({\sum }_{i=1}^n{x}_i{)}^2}{x}_i=0$$

将 $n$ 乘到每一项，得到
现在我们把上述式子简化，我们可以把上述式子中的每一个部分代入后整理得到

$$\begin{array}{rlrlr}\widehat{{\beta }_1}& =\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}& =\frac{{\sum }_{i=1}^n(X_i-\bar{X})Y_i-\bar{Y}{\sum }_{i=1}^n(X_i-\bar{X})}{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}& =\frac{{\sum }_{i=1}^n{X}_i{Y}_i-n\bar{X}\bar{Y}}{{\sum }_{i=1}^n{X}_i^2-n{\bar{X}}^2}& =\frac{{\sum }_{i=1}^n{X}_i{Y}_i-\frac{1}{n}{\sum }_{i=1}^n{X}_i{\sum }_{i=1}^n{Y}_i}{{\sum }_{i=1}^n{X}_i^2-\frac{1}{n}{\left({\sum }_{i=1}^n{X}_i\right)}^2}\end{array}$$

所以我们证明了 $\widehat{{\beta }_1}$ 的表达式。

10

我们知道，可决系数 $R^2$ 定义为：

$$R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$$

其中，$SSR$ 是回归平方和，$SSE$ 是残差平方和，$SST$ 是总平方和。而普通最小二乘回归的线性方程为：

$$Y_i=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i+e_i$$

其中，$e_i$ 是误差项，$\widehat{{\beta }_0}$ 和 $\widehat{{\beta }_1}$ 分别是回归方程的截距和斜率的最小二乘估计量。

我们知道线性相关系数 $r$ 定义为：

$$r=\frac{{\sum }_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})}{\sqrt{{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}\sqrt{{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2}}$$

我们现在来证明 $R^2$ 等于 $r$ 的平方。

首先，根据定义，总平方和 $SST$ 可以表示为：

$$SST=\sum _{i=1}^n(Y_i-\bar{Y}{)}^2$$

而残差平方和 $SSE$ 可以表示为：

$$SSE=\sum _{i=1}^n(Y_i-\widehat{Y_i}{)}^2$$

其中，$\widehat{Y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{X}_i$ 是回归方程的预测值。

进一步地，回归平方和 $SSR$ 可以表示为：

$$SSR=\sum _{i=1}^n(\widehat{Y_i}-\bar{Y}{)}^2$$

我们现在来计算 $SSR$ 和 $SSE$。
$$\begin{array}{rlrlrl}SSE& =\sum _{i=1}^n(Y_i-\widehat{Y_i}{)}^2& =\sum _{i=1}^n(Y_i-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i{)}^2& =\sum _{i=1}^n(Y_i-\bar{Y}+\bar{Y}-\widehat{{\beta }_0}-\widehat{{\beta }_1}{X}_i{)}^2& =\sum _{i=1}^n(Y_i-\bar{Y}{)}^2+(\widehat{{\beta }_0}-\bar{Y}{)}^2+{\widehat{{\beta }_1}}^2\sum _{i=1}^n{X}_i^2-2\widehat{{\beta }_1}\sum _{i=1}^n{X}_i(Y_i-\bar{Y})-2(\widehat{{\beta }_0}-\bar{Y})\sum _{i=1}^n(Y_i-\bar{Y})& =n(\widehat{{\beta }_0}-\bar{Y}{)}^2+{\widehat{{\beta }_1}}^2\sum _{i=1}^n{X}_i^2+(\bar{Y}-\widehat{{\beta }_0}{)}^2\sum _{i=1}^{n}1-2\widehat{{\beta }_1}\sum _{i=1}^n{X}_i(Y_i-\bar{Y})\end{array}$$

将上式中的 $\widehat{{\beta }_0}$ 和 $\widehat{{\beta }_1}$ 分别代入 $SSR$ 和 $SSE$ 中，可得：

$$SSR={\widehat{{\beta }_1}}^2\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

$$SSE=\sum _{i=1}^n(Y_i-\bar{Y}{)}^2-{\widehat{{\beta }_1}}^2\sum _{i=1}^n(X_i-\bar{X}{)}^2$$

将 $SSR$ 和 $SSE$ 代入 $R^2$ 的定义式中，可得：

$$R^2=\frac{{\widehat{{\beta }_1}}^2{\sum }_{i=1}^n(X_i-\bar{X}{)}^2}{{\sum }_{i=1}^n(Y_i-\bar{Y}{)}^2}=r^2$$

因此，可决系数 $R^2$ 就是线性相关系数 $r$ 的平方。这个结论说明了，可决系数 $R^2$ 可以用来衡量回归模型对因变量的解释能力，而线性相关系数 $r$ 表示了自变量和因变量之间的线性关系程度。