回归方程的拟合优度检验_计量经济学第四讲（多元线性回归模型：基本假定，参数估计，统计检验）...

第三章、经典单方程计量经济学模型：多元线性回归模型

3.1多元线性回归模型及其基本假定

3.1.1多元回归模型及其表示

解释变量至少有两个的线性回归模型，一般形式为

如果不作说明，

是不包括常数项的解释变量的个数；如果把常数项看做取值为1的虚变量，那么解释变量的个数是

.

解释变量前的系数

称为

偏回归系数，意义是当其他解释变量不变的时候，第

个解释变量变动一单位对应变量的影响

。

和一元一样，这里也有总体回归方程、模型；样本回归方程、模型。

总体回归方程

总体回归模型

样本回归方程

样本回归模型

用样本观测值代入总体回归模型得到

将上述方程组用矩阵表示为

因此总体回归模型的矩阵表示为

类似地得到样本回归模型的矩阵表示为

3.1.2多元回归模型的基本假定

假设1：模型的设定正确.

假设2：解释变量在不同样本间具有变异性（即取值不同），并且各

之间不存在严格线性相关性（无完全多重共线性）.

如果条件满足，此时解释变量观测值矩阵

为列满秩，

，

，即

存在.

假设3：随机误差项条件零均值.

与一元情形一样，两层含义：

• 误差有抵消趋势
• 解释变量和随机误差项不相关，

假设4：随机误差项条件同方差.

假设5：随机误差项在不同样本点之间相互独立.

假设6：向量

服从一多维正态分布，

.

3.2多元线性回归模型的参数估计

3.2.1参数的最小二乘估计

残差平方和为

对参数求偏导并令为0得到正规方程

正规方程用矩阵表示为

.

考察样本回归模型

，两边左乘

得到

结合正规方程得到

，所以

.

*下面是矩阵导出（不作要求）

首先给出矩阵求导的两个规则：

规则1：

,

，那么

规则2：考察如下形式

那么

残差平方和为

求偏导并化简

其中第三个等号因为

是一个实数，转置就是自身.

进而得到

其中第一项是规则1，第二项是规则2.

3.2.2OLS估计量的统计性质及其分布

线性：

无偏性：

最后一个等号用到条件零均值的推论

.

有效性:

其中第二个等号用到无偏性，第五个等号用到

，第三个等号用到

根据高斯-马尔科夫定理，该方差在所有无偏估计中最小.

正态性：

其中

是

的第

行第

列元素.

此外，大样本下还有渐近无偏性、渐近有效性和一致性.

3.2.3随机误差项方差的估计

可以证明该估计量是无偏的，开根号后得到

称为回归标准差.是对回归线拟合优度的简单度量。

3.2.4样本容量问题

最小样本容量：

需要满足的基本条件：

存在.

由于

,只有

时，

才是满秩矩阵，而

一共只有

列，所以它的行数至少为

，即

.

满足基本要求的样本容量：

或

.

3.3多元线性回归模型的统计检验

和一元的三个检验一样.

3.3.1拟合优度检验

总离差平方和的分解

自由度为（k是不包括常数项的解释变量数目！）

可决系数定义为回归平方和比上总离差平方和，反映被解释部分占的比重

多元情形采用调整的可决系数，上式中残差平方和与总平方和除上自由度

当

时，

，

可能为负数！

问：为什么引入调整的可决系数？

答：如果采用原来的可决系数，当引入一个无关变量的时候，残差平方和不变，进而可决系数也不改变；但如果用调整的可决系数，因为残差项自由度变大， 所以调整的可决系数变小。

在实际应用中，添加一个变量一般会导致可决系数增大（因为残差增大），这会给人错觉：解释变量越多拟合程度越好，而调整可决系数除以自由度，是对增加解释变量的惩罚，只有当新解释变量的贡献足以抵消这种惩罚的时候，才考虑加入将其加入.

比较解释变量数目不同的多元模型，还有赤池信息准则（AIC）和施瓦茨准则（SC）

对于新的解释变量，只有当它能够减小AIC或SC时，才将其引入.

3.3.2变量的显著性检验

提出假设

构造检验统计量:

查表得临界值：

拒绝域为：

3.3.3方程的显著性检验

目的：检验被解释变量和解释变量总体上线性关系是否显著

问：为何不用拟合优度？

答：拟合优度比较模糊，没有给出可靠程度。

检验的假设为

构造检验统计量：

（回归平方和与残差平方和除以各自自由度再相除）

查表得临界值：

拒绝域为：

※一元情形下，t检验和F检验等价，并且检验统计量之间关系为：

问：拟合优度检验与方程显著性检验的关系？

答：拟合优度检验是检验模型对样本观测值的拟合程度；方程显著性检验是检验总体线性关系是否显著成立，有精确的分布。当

增大时，

统计量也增大，也就是说模型拟合程度越高，总体线性关系越显著。

可决系数与F统计量：

调整可决系数与F统计量：

3.4多元线性回归模型的置信区间

3.4.1参数的置信区间

置信区间为

其中

缩小置信区间方法

• 增大样本容量：样本容量越大，临界值越小，
  也越小.
• 提高模型拟合程度：减少残差平方和，进而
  变小.
• 提高样本观测值分散程度：一般观测值越分散，
  越小.

3.4.2应变量预测值的置信区间

个别值与均值的点预测都是

均值的区间预测是

个别值的区间预测是

缩小置信区间的方法与参数的区间估计相同。

习题

例1 考察下面两个模型

（1）证明

（2）证明两模型残差相等.

（3）什么条件下，第二个模型的可决系数小于第一个模型？

解

（1）将第二个模型变形得到

比较两个模型即得结论.

（2）利用（1）的结果，将第一个模型的残差表示出来

（3）分别写出两个模型的拟合优度

第一个模型：

第二个模型：

因为残差平方和相同

，所以当第二个模型的总离差平方和小于第一个模型的时候，其拟合优度小于第一个模型。

例2 考虑下面三个步骤

（1）做回归

（2）做回归

，取残差

（3）做回归

证明

并直观解释该结果.

解 由（2）表示出残差

，将其代入（3）得到

与（1）对比即得到结论.

直观解释：残差

对

的影响与

无关，其对

的影响只能归结到

对

的影响上，而与

无关，因此两者回归系数相同。

例3 考察没有截距项的回归模型

（1）求OLS估计量

（2）是否仍有

解

（1）对残差平方和求偏导得到正规方程组

求解这个二元方程组得到估计量

（2）正规方程组分别对应于

，没有

.