第2章-回归模型(2)-模型诊断

简介

上一节，我们研究了回归模型的线性定义，假设条件，参数估计，以及基于统计学检验的模型评价。但是这并不是意味着我们的回归模型以及可以投入使用，进行决策了。我们还需要在计量经济学的基础上验证模型，当模型出现多重共线性、异方差、序列相关等等问题时，我们需要如何应对与处理。

接下来我们来分别针对不同的情况看进行处理

正文

一，异方差(Heteroscedasticity)

(一) 异方差的介绍

在线性回归模型中，我们假定残差项是同方差的，如果该假定明显背离真实值，则
残差的正态分布假设也将失效。因此通常带来一些问题：

• 参数估计的有效性和渐近线失效
• 参数的显著性检验实效
• 回归方程应用效果极不理想

(二) 异方差的诊断

1，图示法
构建残差图 Y-e

2，假设检验

（1）Halbort White检验

如果存在异方差，说明回归残差项与解释变量X存在某些形式的联系
那么用残差平方对解释变量X，以及解释变量的平方项、交叉乘积项构建辅助回归模型，如果辅助模型显著，则说明存在异方差问题

检验思想

• 假设对于二元回归模型有$y_i={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+{ϵ}_i$
• 辅助回归模型${ϵ}_i^2={\alpha }_0+{\alpha }_1{x}_1+{\alpha }_2{x}_2+{\alpha }_3{x}_1^2+{\alpha }_4{x}_2^2++{\alpha }_5{x}_1{x}_2+v_i$
• 根据辅助模型建立方差分析F统计量
• F统计量如果拒绝原假设($H_0:{\alpha }_1={\alpha }_2=...={\alpha }_k=0$)，则说明存在异方差

（2）Breush Pagan 检验

检验思想与White检验基本相似，辅助回归模型不同

• 运用OLS估计回归方程$y_i={\beta }_0+{\beta }_1{x}_1...++{\beta }_k{x}_k+{ϵ}_i$
• 根据得到的残差项构建辅助回归模型${ϵ}_i^2={\alpha }_0+{\alpha }_1{x}_1...++{\alpha }_k{x}_k+v_i$
• 根据辅助模型建立方差分析F统计量
• F统计量如果拒绝原假设($H_0:{\alpha }_1={\alpha }_2=...={\alpha }_k=0$)，则说明存在异方差

（3）同理，我们可以根据构建不同形式的辅助回归模型，通过其F检验来判断是否存在不同形式的异方差问题

(三) 异方差的处理

加权最小二乘法WLS

我们令$w_i=1/{\sigma }_i^2$，构建下面对角矩阵

$\text{W}=\left(\begin{array}{cccc}{w}_1& 0& \dots & 0\\ 0& w_2& \dots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \dots & w_n\end{array}\right)$

$\text{W}Y=\text{W}X\beta +\text{W}ϵ$

$Y^{\ast }=\text{W}Y$
$X^{\ast }=\text{W}X\beta$
${ϵ}^{\ast }=\text{W}ϵ$

则，WLS结果如下：

$$\begin{gathered} {\hat{\beta }}_{WLS}=\arg {\min }_{\beta }{\sum }_{i=1}^n{ϵ}_i^{\ast 2} \\ =({\text{X}}^T\text{W}\text{X}{)}^{-1}{\text{X}}^T\text{W}\text{Y} \end{gathered}$$

二，多重共线性

(一) 多重共线性的介绍

多重共线性有两种

• 基于结构共线性：数学效应引起的，比如解释变量有$X,X^2,X^3$导致的
• 基于数据的共线性：不同变量的数据之间存在隐含的联系导致的

(二) 多重共线性的诊断

1，相关矩阵

2，方差扩大化因子(variance inflation factors ,VIF)

$VI{F}_k=\frac{1}{1-R_k^2}$

VIF>10就认为存在多重共线性

(三) 多重共线性的处理

1，基于数据的共线性：增加样本数据，看是否能减少变量之间的相关性
2，基于结构的共线性：尝试将数据中心化
3，去掉部分变量
4，提取主成分

三，序列相关

(一) 序列相关的介绍

序列相关问题，与时间序列的自回归相似。

一个AR(2)的自回归模型如下：
$y_t={\beta }_0+{\beta }_1{y}_{t-1}+{\beta }_2{y}_{t-2}+{ϵ}_t$

同理如果回归方程中没有被选中的变量是有序列相关的，那么可能导致残差项产生序列相关的问题。

${ϵ}_t=\rho {ϵ}_{t-1}+{\omega }_t$
如果$\rho$显著，则说明存在序列相关的问题

(二) 序列相关的诊断

1，图示法$e_t,e_{t-1}$
2，回归检验法

如果残差回归的系数显著，则说明存在序列相关的问题
${\mu }_i={\rho }_1{\mu }_{i-1}+{\rho }_2{\mu }_{i-2}+...+{\rho }_l{\mu }_{i-l}+{ϵ}_i$

3，D-W检验 (Durbin-Watson Test)

针对方程
${ϵ}_t=\rho {ϵ}_{t-1}+{\omega }_t$

假设检验
$$\begin{gathered} H_0:\rho =0 \\ {H}_A:\rho ̸=0 \end{gathered}$$

构造统计量
$D=\frac{{\sum }_{t=2}^n(e_t-e_{t-1}{)}^2}{{\sum }_{t=1}^n{e}_t^2}$

D的统计值在0-4之间

D	0	2	4
P	1	0	-1

只适合于一阶情形
不适用于同时存在异方差和序列相关模型

2，Ljung-Box Q Test

$H_0:k个滞后期的自相关系数都是0$
$H_1:k个滞后期的自相关系数不都是0$

$Q_k=n(n+2){\sum }_{j=1}^k\frac{r_j^2}{n-j}$

$Q_k服从{\chi }_k^2分布$

(三) 序列相关的处理

1，广义差分

如果残差存在一阶序列相关，则可以把数据进行一阶差分，然后再进行OLS估计
当然可以推广到广义差分：
如果原模型存在
${\mu }_i={\rho }_1{\mu }_{i-1}+{\rho }_2{\mu }_{i-2}+...+{\rho }_l{\mu }_{i-l}+{ϵ}_i$

则广义差分回归模型为：
$y_i-{\rho }_1{y}_{i-1}-{\rho }_2{y}_{i-2}-...-{\rho }_l{y}_{i-l}={\beta }_0(1-{\rho }_1-{\rho }_2-...-{\rho }_l)+{\beta }_1(X_1-{\rho }_1{X}_1-{\rho }_2{X}_2-...-{\rho }_l{X}_l)+..+{ϵ}_i$

根据广义差分模型估计得到的参数，可以解决所有类型的自相关问题。

备注：广义差分需要得到具体的${\rho }_i$值

2，Cochrane-Orcutt迭代法

（1）先估计出回归模型的参数$Y=\beta X+\mu$
（2）再估计出${\mu }_i={\rho }_1{\mu }_{i-1}+{\rho }_2{\mu }_{i-2}+...+{\rho }_l{\mu }_{i-l}+{ϵ}_i$的参数${\rho }_i$
（3）代入广义差分模型
（4）重复上面的步骤直到第二步的${\rho }_i$不在显著或相邻两次迭代的数值差异小于某个精度时，终止循环
（5）一般迭代两次即可，所以又叫Cochrane-Orcutt两步法

四，异常数据

(一) 异常数据的介绍

1，对于异常数据，有下面三种情况：

分类	定义	说明
异常点(outliers)	对于正常的X来说，Y值偏离总体趋势	Y极端值
高杠杆点(leverage points)	不仅Y，X也偏离总体，要么很大要么很小	X极端值
强影响点(influential observations)	凡是能够影响到模型推断、斜率等回归分析中各阶段的影响点	其他极端的情况

2，异常点示例

下图，红色的点，明显脱离总体趋势，所以可以被认为是异常点，但是因为x值并不异常，所以不是高杠杆点。

但是，红色的点是强影响点嘛？我们对比包含和剔除异常点后的回归线，以及回归模型的结果进行判断。

包含红色样本点

不包含红色样本点

由于，仅拟合优度提升了估计量的标准差变好了，但是斜率参数变化不大，且均显著；所以，该样本点不是强影响点。

3，高杠杆点示例

下图中的红色样本点，虽然，y保持了总体的趋势，但是x是个异常值，所以是个高杠杆点。


同理我们依然可以通过对比有无高杠杆点的回归线，以及回归模型的结果进行判断。

回归方程结果-略
可以判断，该点不是强影响点。

4，强影响点示例

同理，我们可以推断，下图中的红点，不仅仅是异常点、高杠杆点，而且还是强影响点，因为使得斜率发生了较大的偏离，拟合优度以及显著性推断的值也发生了较大的变化。

(二) 异常数据的诊断

1，x极端值的判断-高杠杆点

通过线性代数的角度求解线性回归模型的过程：
$Y=X\beta +\mu$
$\beta =(X^{\prime }X{)}^{-1}{X}^{\prime }Y$

$\hat{Y}=X\beta$
$\hat{Y}=X(X^{\prime }X{)}^{-1}{X}^{\prime }Y$

令 $H=X(X^{\prime }X{)}^{-1}{X}^{\prime }$，则
$\hat{Y}=HY$

改写成方程的形式：
${\hat{y}}_i=h_{i1}{y}_1+h_{i2}{y}_2+...+h_{in}{y}_n$ , for i = 1,…,n
杠杆参数${\hat{y}}_i$

一般当$h_{ij}>3(\frac{\sum h_{ij}}{n})=3(\frac{p}{n})$时，认为可能出现高杠杆点的情况。
其中，p表示参数的个数，包括截距项。

2，y极端值的判断-异常值

通过学生化的残差值，进行判断

通过残差值$e_i=y_i-{\hat{y}}_i$
我们做如下变换
$r_i=\frac{e_i}{s(e_i)}=\frac{e_i}{\sqrt{MSE(1-h_{ii})}}$

$r_i$超过3的被认为是异常点

待改进：当异常点对模型产生了很大的影响，甚至将回归曲线“拉向自己”的时候，则上述这种“internally studentized residual”内部的学生化误差就起不到判断的作用了。

我们建立外部的学生化误差“externally studentized residuals”：

定义
$d_i=y_i-{\hat{y}}_{(i)}$
其中，
$y_i$对应的依旧是第i个样本观测值

${\hat{y}}_{(i)}$则代表，剔除第i个观测点后建立的回归模型，再代入第i个点解释变量值得到的预测结果

举例

去除第四个点的(i=4)回归模型，得到的第四个点($x_4=10,y=2.1$)的预测值，如下
${\hat{y}}_{(4)}=0.6+1.55x=0.6+1.55\ast 10=16.1$

则 $d_4=y_4-{\hat{y}}_{(4)}=2.1-16.1=-14$

外部的学生化误差记为：

$t_i=\frac{d_i}{s(d_i)}=\frac{e_i}{\sqrt{MS{E}_{(i)}(1-h_{ii})}}$

结果依旧是与3相比较，$t_i＞3$的认为是异常点。

3，强影响点的判断

定义Cook’s distance

$D_i=\frac{(y_i-{\hat{y}}_i{)}^2}{p\times MSE}\left[\frac{h_{ii}}{(1-h_{ii}{)}^2}\right]$

其中，
$y_i$对应的依旧是第i个样本观测值

${\hat{y}}_{(i)}$则代表，剔除第i个观测点后建立的回归模型，再代入第i个点解释变量值得到的预测结果

p 表示参数的个数，包括截距项

判断：
当$D_i$值大于0.5，则仅仅有可能是
当$D_i$值大于1，则非常有可能是
当$D_i$与其他值比非常抢眼，则基本可以确定就是

(三) 异常数据的处理

如果是录入错误或收集错误，则改正
如果其他原因，基本都是直接删除

上一节：第2章-回归模型(1)-线性回归模型与估计
下一节：第2章-回归模型(3)-模型筛选

---

参考
1，https://newonlinecourses.science.psu.edu/stat501/node/337/