小样本OLS回归的框架

最新推荐文章于 2025-08-18 23:07:16 发布

原创

最新推荐文章于 2025-08-18 23:07:16 发布 · 2k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #最小均方误差

本文介绍了最小二乘法的历史，探讨小样本OLS回归的框架，包括点估计性质、拟合优度衡量及区间估计与假设检验。通过Gauss-Markov定理阐述了OLS估计的最优性，并讨论了如何利用R2、AIC、BIC等指标进行模型选择和假设检验。

1 最小二乘法的历史

不管是学习机器学习、计量经济学、数理统计，很多人接触到的第一个算法就是最小二乘法（least squares method）。

这是一个非常古老的方法。早在18世纪早期，在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Legendre，而数学王子Gauss据说在更早时候就发现了该方法，但直到1809年他在发表计算天体运动轨道时才正式使用，两人也为谁是第一个发现的争论不休。

Gauss毕竟是数学王子，1829年，他又首次证明出，在线性无偏估计量的类中，OLS估计具有最小的抽样方差。在他的证明中，假设了线性回归模型中的误差项是独立且正态分布的，后来，由Markov将假设放宽到只需要误差项不相关、同方差且期望为0即可。因此，该定理最终被命名为Gauss-Markov定理。

2 小样本OLS回归的框架

做OLS回归是为了什么？简而言之，在假设了数据生成过程 $y=β′x+εy=\beta' x+\varepsilon$ 并收集到一系列 $(x, y)$ 的数据之后，我们可以做的事情有3个，这也是我们学习OLS回归的路线：

得到系数的点估计；
判断数据拟合得如何？
得到系数的区间估计，进行假设检验。

首先，我们先利用数据得到点估计 $β^\hat{\beta}$ ，由此还可以得到它的一系列性质，然后，可以通过计算如 $R^2$ 等一系列指标来说明拟合得如何，最后，在得到区间估计后，可以对预先的有关于系数的假设进行假设检验。

2.1 点估计及其性质

在使用OLS回归之后，可以得到

$β^=(X′X)−1X′y\hat\beta=(X'X)^{-1}X'y$

这就是系数的点估计，可以看下它有什么样的性质。

首先，它是 $y$ 的线性组合，具有线性性，另外，在施加一些假设后，它的条件期望是对系数的无偏估计，即 $E(β^∣X)=β\mathbb{E}(\hat\beta|X)=\beta$ ，而它的方差则由Gauss-Markov定理保证了是最小的，这就是“BLUE”（Best Linear Unbiased Estimator）。