高斯马尔科夫定理(Gauss-Markov Theorem)证明了如果误差满足零均值、同方差且互不相关,那么利用最小二乘法(OLS)进行线性回归得到的估计参数是最佳的以及无偏的。所以普通最小二乘法估计是对回归系数的最佳线性无偏估计(BLUE, Best Linear Unbiased Estimator)。
(一) 回归分析---线性回归
回归模型研究的是变量与变量之间的关系,线性回归研究的就是变量与变量之间的线性关系。
这种关系实际上仅是一种统计关系,利用实际数据估计出各变量之间影响程度与方向,也就是我们要估计出的各个参数。
总体回归模型的一般形式为

这里的
由于随机扰动项的存在,虽然我们的各个参数
线性回归模型是最常用的回归模型。 当函数f是线性时,模型为