回归分析脉络梳理

回归分析脉络梳理

一、引言

如果从高斯（Gauss，1777-1855）在1809年提出最小二乘法开始算起，回归分析已经有200多年的历史，但学界普遍认为 “回归”最早由英国生物学家弗朗西斯·高尔顿（Francis Galton，1822-1911）和他的学生卡尔·皮尔逊（K.Pearson，1856-1936）在1855年研究人类遗传问题时提出的，他们在分析父母身高和子女身高关系时，发现子女身高会向人类平均身高“回归”，而不会出现父母身高越高，子女身高更高或者父母身高较矮，子女身高更矮这种发散式模式发展。后来，在计量经济学和回归分析研究中，“回归”的含义得到了拓展，现代意义的回归主要指因变量如何依赖自变量的变化而变化。
回归分析的发展离不开数学和计算机技术的贡献，随着数学方法的不断完善和计算机技术的飞速发展，回归分析也从经典模式向现代模式过渡。以20世纪70年代为界，回归分析可划分为经典回归分析和现代回归分析，经典回归分析包括满足经典假设的模型和违背经典假设（多重共线性、异方差、自相关、内生性问题）的处理方法，而现代回归分析可进一步划分为时间序列回归分析、面板数据回归分析、空间数据回归分析、微观数据回归分析、贝叶斯回归模型、非参数（半参数）回归分析、分位数回归等多个部分，这多个部分并非是互斥关系，而是可以互相交叉发展的：如面板数据与时间序列方法相结合的面板单位根、面板协整、面板VAR等方法，面板和微观数据结合的面板数据微观计量模型，面板数据模型的非参数方法，微观数据模型的非参数方法，贝叶斯空间回归模型、贝叶斯时间序列模型，甚至包含多种交叉的模型，如贝叶斯空间分位面板数据模型、半参数动态面板空间滞后模型、面板数据半参数空间向量自回归模型等。总而言之，现代回归分析的发展是多种现代模型的交叉和融合。
从其它角度对回归分析进行分类，主要有以下几种：从回归方程个数来看，分为单方程回归模型和联立方程模型；从数据类型来看，回归分析可划分为横截面数据模型、时间序列模型和面板数据模型；从回归模型是否包含滞后项划分为静态模型和动态模型；从是否均值回归划分为均值回归模型和分位数回归模型；从变量类型划分为连续型变量模型和离散变量模型；从是否违背经典假设来看，分为满足经典假设回归模型和违背经典假设模型；从模型形式来看，分为线性回归模型和非线性回归模型。本文对回归分析的脉络梳理主要是从满足经典假设回归模型和违背经典假设模型角度展开。

二、满足经典假设的回归分析

在回归分析中有很多种构造样本回归函数的方法，而最广泛使用的一种是普通最小二乘法（method of ordinary least squares, 简记OLS）。普通最小二乘法是由德国数学家高斯（C.F.Gauss）最早提出和使用的。在一定的假设条件下，最小二乘估计量有着非常好的统计性质，从而使它成为回归分析中最有功效和最为流行的方法之一。

（一）假设前提

为了回归估计的有效解释，对X_i变量和误差项μ_i做出假设是极其重要的。

（二）普通最小二乘算法（OLS）

1. OLS含义及求解

在满足经典假设的条件下，最小二乘估计量为最佳线性无偏估计量，（高斯-马尔可夫定理）。假设估计的直线为：

其中， 称yt的拟合值（fitted value）， 和 分别是 0 和1的估计量。观测值到这条直线的纵向距离用 表示，称为残差。

称为估计的模型。
假定样本容量为T。最小二乘法的原则是以“残差平方和最小”确定直线位置。用最小二乘法除了计算比较方便外，得到的估计量还具有优良特性（高斯马尔科夫定理）。设残差平方和用Q表示，

则通过Q最小确定这条直线，即确定 和 的估计值。以 和 为变量，把Q看作是 和 的函数，这是一个求极值的问题。求Q对 和 的偏导数并令其为零，得正规方程，

(3)式两侧用T除，并整理得，

2. 最小二乘估计量的特性

（三）模型检验

三、不满足经典假设的回归分析

（一）存在多重共线性时

1. 多重共线性的含义

解释变量间存在完全线性相关关系或近似线性关系。

2. 多重共线性产生的原因

(1) 经济变量之间具有共同变化趋势；
(2) 模型中包含滞后变量；
(3) 利用截面数据建立模型也可能出现多重共线性；
(4) 样本数据自身的原因；

3. 多重共线性的后果

4. 多重共线性的检验

5. 多重共线性的修正

伍德里奇（Jeffrey M.Wooldridge）认为目前学者对于多重共线性的理解都是不充分的，他并不认为多重共线性能有很好的解决方法，因此在他的经典教材《计量经济学导论》中并没有讨论多重共线性。其他诸多教材对多重共线性修正问题进行了探讨，目前认为解决多重共线性的方法主要有增加样本容量、变量的合并或删除、变换模型形式以及逐步回归法，岭回归法，Lasso回归，主成分回归等模型。下面简单介绍常见方法的基本思想。
(1) 逐步回归法思想：逐步回归的基本思想是将变量逐个引入模型，每引入一个解释变量后都要进行F检验，并对已经选入的解释变量逐个进行t检验，当原来引入的解释变量由于后面解释变量的引入变得不再显著时，则将其删除。以确保每次引入新的变量之前回归方程中只包含显著性变量。这是一个反复的过程，直到既没有显著的解释变量选入回归方程，也没有不显著的解释变量从回归方程中剔除为止。以保证最后所得到的解释变量集是最优的。依据该思想，可利用逐步回归筛选并剔除引起多重共线性的变量，具体步骤为:先用被解释变量对每一个所考虑的解释变量做简单回归，然后以对被解释变量贡献最大的解释变量所对应的回归方程为基础，再逐步引入其余解释变量。经过逐步回归，使得最后保留在模型中的解释变量既是重要的，又没有严重多重共线性。

(4) 主成分回归。主成分分析是一种降维的方法，可将多个存在线性关系的变量降成几个互不相关的主成分，然后利用因变量对几个不相关的主成分进行回归，可以解决多重共线性问题。

（二）存在异方差时

1. 异方差的含义

2. 异方差产生的原因

(1) 模型中省略了重要的解释变量，此时漏掉的这一重要变量的变化规律将体现在扰动项中。
(2) 模型的设定误差
(3) 测量误差的变化
(4) 截面数据中总体各单位的差异

3. 异方差的后果

4. 异方差的检验

(1) 定性法。变量规模差别很大时容易出现异方差。如个人收入与支出关系，投入与产出关系。
(2) 图示法。画解释变量与被解释变量散点图或者画残差和解释变量的散点图可以初略看出是否存在异方差。

5. 异方差的修正

（1）加权最小二乘法（WLS）

(2) 广义最小二乘法（GLS）
普通最小二乘法、加权最小二乘法是广义最小二乘法的特例。广义最小二乘法可用来解决异方差相关问题。

（三） 存在自相关时

1. 自相关的含义

如果不同期扰动项存在相关关系，即则称误差项u_t存在自相关。

2. 自相关产生的原因

(1) 经济系统的惯性；
(2) 经济活动的滞后效应；
(3) 数据处理造成的相关；
(4) 蛛网现象；
(5) 模型设定偏误。

3. 自相关的后果

当误差项 存在自相关时，模型参数的最小二乘估计量具有如下特性。

4. 自相关的检验

5. 自相关的修正

如果模型的误差项存在自相关，首先应分析产生自相关的原因。如果自相关是由于错误地设定模型的数学形式所致，那么就应当修改模型的数学形式；如果自相关是由于模型中省略了重要解释变量造成的，那么解决办法就是找出略去的解释变量，把它作为重要解释变量列入模型。只有当以上两种引起自相关的原因都消除后，才能认为误差项 “真正”存在自相关。在这种情况下，解决办法是变换原回归模型，使变换后的随机误差项消除自相关，进而利用普通最小二乘法估计回归参数。最常见的方法是广义差分法。

（四） 存在内生性时

1. 内生性含义

指模型中的一个或多个解释变量与随机扰动项相关。变量的内生性问题往往难以避免。当模型存在遗漏变量，且遗漏变量与其它解释变量相关时会导致内生性，解释变量与被解释变量相互影响以及度量误差也会导致内生性。

2. 内生性产生的原因

(1) 遗漏变量偏差；
(2) 双向因果关系偏差；
(3) 变量存在测量误差。

3. 内生性后果

如果存在内生性问题，一般而言，估计参数将会产生偏差，不满足无偏性和一致性。具体可分为两种情况，当解释变量与随机扰动项同期不相关，异期相关，参数估计的结果将是有偏，但一致的。如果解释变量与随机扰动项同期相关，参数将是有偏且非一致。

4. 内生性的检验

(1) 豪斯曼检验（Hausman specification test）
H0 ：所有解释变量均为外生变量 ；H1：至少有一个解释变量为内生变量。
若 Hausman 检验失效（检验统计量为负值），则使用dmexogxt，否则通常仍以Hausman检验为主。
(2) Davidson-MacKinnon检验
H0：内生性问题对OLS的估计结果影响不大
Davidson-MacKinnon检验得到F统计量的P值小于显著性水平，代表有内生性

5. 内生性的修正

解决内生性问题的方法主要有：
(1) 工具变量法（IV）与两阶段最小二乘法
找到一个变量和内生化变量相关，但是和残差项不相关。在OLS的框架下同时有多个IV，这些工具变量被称为两阶段最小二乘估计量（two stage least squares (2SLS) estimator）。具体的说，这种方法是找到影响内生变量的外生变量，连同其他已有的外生变量一起回归，得到内生变量的估计值，以此作为IV，放到原来的回归方程中进行回归。
(2) 动态面板模型
思想是将解释变量和被解释变量的滞后项作为IV
(3) 双重差分法
Difference-in-Difference （DID）一般称为双重差分法，或倍差法。倘若出现了一次外部冲击，这次冲击影响了一部分样本，对另一部分样本则无影响，而我们想看一下这次外部冲击到底有何影响，双重差分法就是用来研究这次冲击的净效应的。
其基本思想是，将受冲击的样本视作实验组，再按照一定标准在未受冲击的样本中寻求与实验组匹配的对照组，而后做差，做差剩下来的便是这次冲击的净效应
(4) 广义矩估计 (GMM)