独立同分布的大样本OLS回归

本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。

尽管在大样本下，假设、推导、结论都与在小样本情形下不同，但总体的思路还是一样的：

• 进行点估计，再研究估计量的性质；
• 构造统计量，在大样本下推导其渐近分布，并进行假设检验。

本文考虑大样本情形中最简单的情况：独立同分布的随机样本。

1 记号与假设

由于可能会考虑到时间序列的情形，因此这里对于单个样本的下标采用$t$，不再用$i$。记$Q=\text{E}(x_t{x}_t^{\prime })$，$V=\text{Var}(x_t{\epsilon }_t)$，其他记号与小样本情形下一样。

• 假设1 独立同分布： { x t ′ , y t } ′ \{x_t',y_t\}' { xt′​,yt​}′，$t=1,\dots ,N$是可观测的独立同分布的随机样本；
• 假设2 线性性：$y_t=x_t^{\prime }\beta +{\epsilon }_t$，可写作矩阵形式$y=X\beta +\epsilon$；
• 假设3 模型正确设定：$\text{E}({\epsilon }_t|x_t)=0$且$\text{E}({\epsilon }_t^2)={\sigma }^2<\infty$；
• 假设4 非奇异性：$K\times K$矩阵$Q$是对称、有限、非奇异的；
• 假设5：$K\times K$矩阵$V$是对称、有限、正定的；
• 假设6 条件同方差：$\text{E}({\epsilon }_t^2|x_t)={\sigma }^2$。

由假设1与假设3，可推出$\text{E}({\epsilon }_t|X)=0$，即满足了严格外生性。另外，由于有假设3的保证，$V=\text{Var}(x_t{\epsilon }_t)=\text{E}(x_t{x}_t^{\prime }{\epsilon }_t^2)$。

可以看到，在大样本下，不需要对扰动项作出正态分布的假设。而这里的独立同分布假设，也保证了扰动项无自相关，因此，在后续的推导中，只需要考虑假设6是否满足即可。若满足假设6，那么假设5可由假设4保证，若不满足假设6即存在条件异方差，可以用$\text{E}({\epsilon }_t^4)<\infty$和$\text{E}(x_{tk}^4)<\infty$联合保证假设5的矩条件。在推导后续结论时，一般要对是否满足假设6做分类讨论。

2 一些定理

定理1 独立同分布随机样本的弱大数定律：假设 { Z t } t = 1 n \{Z_t\}_{t=1}^n { Zt​}t=1n​为独立同分布随机样本，$\text{E}(Z_t)=\mu$且$\text{E}(|Z_t|)<\infty$，定义${\bar{Z}}_n=n^{-1}{\sum }_{t=1}^n{Z}_t$，则当$n\to \infty$时，有${\bar{Z}}_n\stackrel{p}{\to }\mu$。

定理2 独立同分布随机样本的多元中心极限定理：若 { Z t } t = 1 n \{Z_t\}_{t=1}^n { Zt​}t=1n​为独立同分布随机样本，$\text{E}(Z_t)=0$且$\text{Var}(Z_t)=V$为有限、对称、正定的矩阵。定义${\bar{Z}}_n=n^{-1}{\sum }_{t=}$