回归预测及R语言实现 Part1 回归基础综述

Part1 回归基础综述

回归方法有很多种，最常见的是线性回归（又有一元和多元之分）、多项式回归、非线性回归。另外还将简单说明对预测结果的检验方法。

 

线性回归

一元线性回归，是最简单最常见的回归模型，类似初中数学中的一元一次方程，它的基本模型如下：

我们常见的一元线性回归方程一般没有最后一项，确切的说，我们在实际的应用中也忽略了最后一项。最后一项ui的现实意义是：它是指除自变量x以外所有对因变量y有影响的其他因素，应用回归预测时，我们假设ui是一个均值为零的随机变量，方差为常值，不同ui间相互独立，并与自变量x相互独立。

 

多元线性回归，则类似多元一次方程，是指在存在二个或二个以上的自变量，会对因变量y产生线性影响，线性影响这个说法不知道有没有，意思就是一次关系。多元线性回归模型如下：

是n个对因变量y会产生影响的n个自变量。二元线性回归和三元线性回归在实际应用中都比较常见，因变量再多的话关系比较复杂但将其简单定义为线性关系，可能在用作预测时，误差会较大。

 

线性回归方法在做预测时，我们需要根据已有观测数据得到参数。常见估算b参数的方法有最小二乘法和最大似然估计法。

简单来说最小二乘法就是估算值能很好地拟合已有的观测值，使得估计值和观测值之差的平方和最小。最大似然估计法的依据是：概率最大的事件最可能发生。以一元线性回归为例，说明下，这两个算法是如何来估算的。