一元线性回归的详解及其Spss和Java的实现 之 理论说明

不要过于教条地对待研究的结果，尤其当数据的质量受到怀疑时。

本文主要对统计学中最常见的一元线性回归内容进行系统全面的讲解，以及相应案例的Excel Spss 和Java的相关实现。
准备知识 ： 对概率中随机变量的期望、方差、协方差、和相关系数的定义、性质和简单的计算。可参考期望,方差,协方差及相关系数
[注释:]上述参考文档中在性质3中线性组合的方差中书写错误: 正确如下:

$$var(ax+by)=a^{2}var(x)+b^{2}var(y)+2abcov(x,y).$$
参考资料 ：贾俊平统计学第6版.

一元线性回归内容详解

1.1 变量间的关系

变量与变量之间的关系呢可以分为两种：
（1）函数关系；
（2）相关关系；
函数关系：设有两个变量$x$和$y$，变量$y$随变量$x$一起变化，并完全依赖于$x$,也就是，当$x$取某个值时，$y$依确定的关系取相应的值，则称$y$是$x$的函数：$y=f(x)$, $x$为自变量，$y$为因变量。
相关关系 :当变量之间的这种确定关系变为不确定的数量关系，就是相关关系。
相关关系的特点：一个变量的取值并不能由另一个变量唯一确定，当变量$x$取某个值时，变量$y$的取值可能有几个。对这种关系的不确定性没法用函数关系来表示，但也不是无任何规律可寻。

1.2 相关关系的描述和测度

相关分析要解决的问题：
（1）变量之间是否存在关系；
（2）如果存在关系，他们之间是什么样的关系；
（3）他们之间的关系强度如何；
（4）如何确定用样本所反映的变量之间的关系可以代替总体变量之间的关系。
前提假设：
（1）两个变量之间是线性关系；
（2）两个变量都是随机变量。
步骤 ：
（1）绘制散点图来判断变量之间的关系形态，如果是线性关系，可以用相关系数来测度两个变量的关系强度。
（a）正线性相关；
（b）负线性相关；
（c）完全正线性相关；
（d）完全负线性相关；
（e）非线性相关；
（f）不相关。
（2）对相关系数进行显著性检验，以判断样本所反映的关系能否用来代表两个变量总体上的关系。
总体相关系数 $\rho$ :根据总体数据计算的，称为总体相关系数；
样本相关系数 $r$ :根据样本的数据计算的，称为样本相关系数；
样本相关系数计算公式 ：

$$r=\frac{\sum(x-\bar{x})(y-\bar{y})}{\sqrt{\sum\left( x-\bar{x}\right) ^{2}\sum\left( y-\bar{y}\right) ^{2}}}$$
公式简化：

$$\begin{align*} r & =\frac{\sum(x-\bar{x})(y-\bar{y})}{\sqrt{\sum\left( x-\bar{x}\right) ^{2}\sum\left( y-\bar{y}\right) ^{2}}}=\frac{\sum(xy-\bar{x}y-y\bar{x}% +\bar{x}\bar{y})}{\sqrt{\sum(x^{2}+\bar{x}^{2}-2x\bar{x})}\sqrt{\sum (y^{2}+\bar{y}^{2}-2y\bar{y})}}\\ & =\frac{\sum xy-\bar{x}\sum y-\bar{y}\sum x+\sum\bar{x}\bar{y}}{\sqrt{\sum x^{2}+\sum\bar{x}^{2}-2\bar{x}\sum x}\sqrt{\sum y^{2}+\sum\bar{y}^{2}-2\bar {y}\sum y)}}\\ & =\frac{\sum xy-n\bar{x}\bar{y}-n\bar{y}\bar{x}+n\bar{x}\bar{y}}{\sqrt{\sum x^{2}+n\bar{x}^{2}-2n\bar{x}^{2}}\sqrt{\sum y^{2}+n\bar{y}^{2}-2n\bar{y}^{2}% )}}\\ & =\frac{n\sum xy-\sum x\sum y}{\sqrt{n\sum x^{2}-(\sum x)^{2}}\sqrt{n\sum y-(\sum y)^{2}}}% \end{align*}$$
参考两个变量相关系数计算公式 ：
$$Corr(x,y)=\frac{cov(x,y)}{\sqrt{var( x)var(y)}}=\frac{E[(x-E(x))(y-E(y))]}{\sqrt{E[(x-E(x))^{2}]E[(y-E(y))^{2}]}}$$
相关程度划分：
我们知道相关系数的取值在 $-1\leq r \leq 1$之间。
（a）当 $|r|\geq 0.8:$高度相关；
（b）当 $0.5\leq |r|<0.8:$中度相关；
（c）当 $0.3\leq |r|<0.5:$低度相关；
（d）当 $|r|<0.3:$极度弱相关，可视为不相关。

1.3 相关系数的显著性检验

一般情况下，总体的相关系数是未知的，通常是根据样本的相关系数来近似估计的。但是由于样本的相关系数是根据样本数据计算出来的，它收到抽样的波动的影响。由于抽取的样本不同，$r$的取值自然也不同，因此这个$r$是一个随机变量。能否根据样本相关系数说明总体的相关程度呢？这就需要考虑到样本相关系数的可靠性，也就是进行显著性检验。
1.3.1 $r$的抽样分布：
要对$r$的显著性进行检验，自然就要考虑到$r$的抽样分布。通常情况下我们不采用正态检验，因为我们知道当总体的相关系数$\rho$为较大的正值时，$r$呈现左分布（由于样本的$r$是围绕总体的$\rho$左右波动，并且$r$的取值在$-1\leq r\leq 1$）;当总体的相关系数$\rho$为较大的负值时，$r$呈现由分布。只有当总体的相关系数$\rho=0$，并且样本容量$n$很大时，$r$呈现正态分布。因此在实际中，我们不用正态检验，而是采用 $R.A.Fisher$提出的 $t$ 分布检验（钟型线样子），该检验适合于小样本，也适用于大样本。
步骤：
（1）提出假设：

$$H_{0}:\rho=0;\text{ }H_{1}:\rho\neq0;$$
（2）计算检验的统计量

t=|r|n−21−r2−−−−−−√≈t(n−2);

$$t=|r|\sqrt{\frac{n-2}{1-r^{2}}}\approx t(n-2);$$
（3）进行决策。根据跟定的显著性水平 $\alpha$ 和自由度 $df=n-2$ 查 $t$ 分布表，查出 $t_{\frac{\alpha}{2}}(n-2)$ 的临界值，进行决策。

2.1 一元线性回归模型

咱们这里主要说的是一元的 线性的 回归模型，也就是 因变量（dependent variable）$y$ 和自变量（independent variable） $x$之间的关系。
2.1.1 回归模型：

$$y=\beta_{0}+\beta_{1}x+\varepsilon$$
解释（重点理解：有助于理解后面的判定系数问题）：
在一元线性回归中，$y$ 是 $x$ 的线性函数 $(\beta_{0}+\beta_{1}x)部分$ 加上 误差项 $\varepsilon$。 其中：$(\beta_{0}+\beta_{1}x)部分$ 反应了由于 $x$ 的变化而引起的 $y$ 的线性变化； $\varepsilon$ 反应了除了 $x$ 和 $y$ 线性关系之外的随机因素对 $y$ 的影响。是不能由$x$ 和 $y$ 线性关系所解释的变异性。
至于为什么不把除了$x$影响$y$的全部变量引入到模型中，而是用误差项 $\varepsilon$ 来代替，读者可以参考 Gujarati在《计量经济学》中给出的7条解释。
回归模型中重要假设：
（1）误差项 $\varepsilon$ 的期望 $E(\varepsilon)=0$, 并且，对于所有的$x$, $\varepsilon$的方差 $\sigma^{2}$ 是相同的。即误差项 $\varepsilon$ 是一个服从正态分布的随机变量，且独立，即 $\varepsilon=N(0,\sigma^{2})$.
2.1.2 回归方程
一元线性回归方程的形式：
$$E(y)=\beta_{0}+\beta_{1}x$$
2.1.3 估计的回归方程
如果回归方程中的参数 $\beta_{0}和\beta_{1}$ 已知，对于一个给定的 $x$ 值，利用回归方程公式就可以计算出$y$的期望值。 但是他们是未知的，我们就需要用样本的数据去估计它们，用样本的统计量$\hat{\beta_{0}}和\hat{\beta_{1}}$ 代替回归方程中的未知参数。这是就d得到了估计的回归方程：

一元线性回归，估计的回归方程的形式：

$$E(y)=\hat{\beta_{0}}+\hat{\beta_{1}}x$$
2.2.1 参数的最小二乘估计
思想来源：对于第 $i$ 个 $x$ 值，估计的回归方程可表示为：
$$\hat{y_{i}}=\hat{\beta_{0}}+\hat{\beta_{1}}x_{i}$$
那么对于 $x和y$ 的 $n$ 对观测值，用于描述其关系的直线也就有多条，究竟用那条直线来代表这两个变量之间的关系，需要有个明确的规则。K.Gauss 提出用最小二乘法，也就是让样本的实际观测值和估计回归方程之间距离的平方和最小（离差平方和最小）来估计参数$\hat{\beta_{0}}和\hat{\beta_{1}}$。
由最小二乘法：
$$Q=\sum{(y_{i}-\hat{y_{i}})^{2}}=\sum{(y_{i}-\hat{\beta_{0}}+\hat{\beta_{1}}x_{i})^{2}}$$
到达最小，对$Q$ 求相应于 $\hat{\beta_{0}}和\hat{\beta_{1}}$ 的偏导数
$$\left\{ \begin{array} [c]{c}% \frac{\partial Q}{\partial\hat{\beta}_{0}}=-2\sum_{i=1}^{n}(y_{i}-\hat{\beta }_{0}-\hat{\beta}_{1}x_{i})=0\\ \frac{\partial Q}{\partial\hat{\beta}_{1}}=-2\sum_{i=1}^{n}x_{i}(y_{i}% -\hat{\beta}_{0}-\hat{\beta}_{1}x_{i})=0 \end{array} \right.$$
化简求解：
$$\left\{ \begin{array} [c]{l}% \sum_{i=1}^{n}y_{i}=n\hat{\beta}_{0}+\hat{\beta}_{1}\sum_{i=1}^{n}x_{i}\\ \sum_{i=1}^{n}x_{i}y_{i}=\hat{\beta}_{0}\sum_{i=1}^{n}x_{i}+\hat{\beta}% _{1}\sum_{i=1}^{n}x_{i}^{2}% \end{array} \right.$$
简单的高斯消元后，我们可得：
$$\left\{ \begin{array} [c]{l}% \hat{\beta}_{1}=\frac{n\sum_{i=1}^{n}x_{i}y_{i}-\sum_{i=1}^{n}x_{i}\sum _{i=1}^{n}y_{i}}{n\sum_{i=1}^{n}x_{i}^{2}-\left( \sum_{i=1}^{n}x_{i}\right) ^{2}}\\ \hat{\beta}_{0}=\bar{y}-\hat{\beta}_{1}\bar{x}% \end{array} \right.$$
由最后的结果表达式，我们可以看出，回归直线 $\hat{y_{i}}=\hat{\beta_{0}}+\hat{\beta_{1}}x_{i}$ 通过点 $(\bar{x},\bar{y})$.
2.3 回归直线的拟合优度
回归直线与各个观测点的接近程度称为回归直线对护具的拟合优度（goodness of fit）.
2.3.1 判定系数
判定系数是对估计的回归方程拟合优度的度量。
解释：（重要理解）因变量 $y$ 的取值是不同的， $y$ 取值的这种波动称为变差。变差的产生来源于两个方面：
（1）自变量 $x$ 的取值不同造成的；
（2）除了自变量 $x$ 以外的其他因素的影响。
对于一个具体的观测值变差的大小可以用实际观测值 $y$ 和其均值 $\bar{y}$ 之差 $(y-\bar{y})$来表示。 那么$n$次的观察值的总变差可以由这些离差的平方和来表示，即：
总平方和 （total sum of squares）$SST$
$$SST = \sum{(y_{i}-\bar{y})^{2}}$$
因为我们知道估计回归方程与$y=\bar{y}$ 相交于 $(\bar{x},\bar{y})$,所以 $y_{i}-\bar{y}$ 可以由两部分组成：
$$y_{i}-\bar{y}=(y_{i}-\hat{y_{i}})+(\hat{y_{i}}-\bar{y})$$
因此：
$$\sum{(y_{i}-\bar{y})^{2}}=\sum{(y_{i}-\hat{y_{i}})^{2}}+\sum{(\hat{y_{i}}-\bar{y})^{2}}+2\sum{(y_{i}-\hat{y_{i}})(\hat{y_{i}}-\bar{y})}$$
Due to the fact that $2\sum{(y_{i}-\hat{y_{i}})(\hat{y_{i}}-\bar{y})}=0$
$$\sum{(y_{i}-\bar{y})^{2}}=\sum{(y_{i}-\hat{y_{i}})^{2}}+\sum{(\hat{y_{i}}-\bar{y})^{2}}$$
$$总平方和SST=残差平方和SSE+回归平方和SSR$$
（1）$SST=\sum{(y_{i}-\bar{y})^{2}}$ 总平方和(total sum of squares) 反应的是总变差的平方和，也就是时间观测值和平均值之间的变差的平方和
（2）$SSR=\sum{(\hat{y_{i}}-\bar{y})^{2}}$ 回归平方和(sum of quares of regression) 反应的是 $y$ 的总变差中，由 $x 与 y$ 之间的线性关系引起 $y$的变化部分，它是可以由回归直线来解释的 $y$的变差部分。
（3）$SSE=\sum{(y_{i}-\bar{y})^{2}}$ 残差平方和(sum of squares of error) 反应的是除由 $x 与 y$ 之间的线性关系引起 $y$的变化部分外，其他因素对 $y$ 的变差的作用。
综上得： 回归直线拟合的好坏取决于 SSR 和SSE 的大小，SSE越小 说明观测点越靠近直线，因此我们可以用SSR在SST中的占比来判断你和的好坏：
判定系数 $R^{2}$ (coefficient of determination)
$$R^{2}=\frac{SSR}{SST}=1-\frac{SSE}{SST}=\frac{\sum{(\hat{y_{i}}-\bar{y})^{2}}}{\sum{(y_{i}-\bar{y})^{2}}}$$
$$\begin{align*} SSR & =\sum(\hat{y}_{i}-\bar{y})^{2}=\sum[(\hat{\beta}_{0}+\hat{\beta}% _{1}x_{i})-(\hat{\beta}_{0}+\hat{\beta}_{1}\bar{x})]^{2}\\ & =\hat{\beta}_{1}^{2}\sum(x_{i}-\bar{x})^{2}=\hat{\beta}_{1}\sum(x_{i}% -\bar{x})(y_{i}-\bar{y}) \end{align*}$$
$$\begin{align*} R^{2} & =\frac{SSR}{SST}=\frac{\hat{\beta}_{1}\sum(x_{i}-\bar{x})(y_{i}% -\bar{y})}{\sum(y_{i}-\bar{y})^{2}}\\ & =\left[ \frac{\sum(x_{i}-\bar{x})(y_{i}-\bar{y})}{\sqrt{\sum(x_{i}-\bar {x})^{2}}\cdot\sqrt{\sum(y_{i}-\bar{y})^{2}}}\right]^{2} \end{align*}$$
至此，熟悉吧，熟悉吧，中括号里面的表达式恰恰就是相关系数的表达式。
$$R^{2}=r^{2}$$
一定要注意相关系数额平方才是变异系数，例如r=0.7时说明两个变量的相关性已经很高 但是$R^{2}=0.7*0.7=0.49$ 才接近0.5
2.3.2估计标准误差
我们知道残差平方和可以说明实际观测值$y_{i}$ 与回归估计值 $\hat{y_{i}}$ 之间的变异程度。对于一个变量的诸多观测值，可以用标准差来测度各观测值在其平均数周围额分散程度。与之类似的是一个量可以用来测度各个实际观测点在直线周围的散步情况，这个量就是估计标准误差，
估计标准误差，也就是 估计量的标准差，简称标准误差（standard error of estimate） $s_{e}$ 是均方残差（MSE）的平方根。
$$s_{e}=\sqrt{\frac{SSE}{n-2}}=\sqrt{MSE}$$
其中，自由度为 $n-2$ 是因为我们在计算 SSE时，必须先求出 $\hat{\beta_{0}}和\hat{\beta_{1}}$， 这两个估计值就是附加给SSE的两个约束条件，因此在计算SSE是，只有 $n-2$ 个独立的观测值，而不是$n$个。
2.4 显著性检验
回归的主要目的是根据所建立的估计方程来自变量 $x$ 来估计或预测因变量 $y$ 的取值。那么根据样本数据得出的线性回归方程是否真实地反映了变量 $x和y$ 之间的关系。回归分析中的显著性检验主要包括两个方面：
（1）线性关系的检验；
（2）回归系数的检验。
2.4.1 线性关系的检验
线性关系检验是检验自变量 $x$ 和因变量 $y$ 之间的线性关系是否显著，或者，他们之间能否用一个线性模型 $y=\beta_{0}+\beta_{1}x+\varepsilon$ 来表示。
均方回归 MSR 自由度为 $k$ (k为自变量个数，)在一元线性回归中，自由度是1，可以参考前面 SSR 的推到公式。
均方残差 MSE 自由度为 $n-k-1$ (k为自变量个数，)在一元线性回归中，自由度是n-2，可以参考前面 SSR 的推到公式。
步骤：
（1）提出假设
$$H_{0}:\beta_{1}=0:两个变量之间线性关系不显著。$$
（2）构造统计量
$$F=\frac{SSR/1}{SSE/(n-2)}=\frac{MSR}{MSE}\approx F(1,n-2)$$
（3）作出决策。（由F分布是左高右长尾型的，）查表做决策这里就说了大家都会。
2.4.2 回归系数的检验
在线性关系的检验中，如果回归系数 $\beta_{1}\neq 0$ 也不能可能就得出两个变量之间存在线性关系的结论，要看这种关系是否具有统计意义上的显著性。因为 $\hat{\beta_{1}}, 和 \hat{\beta_{0}}$ 是根据最小乘法算出来的，当抽取的样本不同时，其值也不同，因此它俩也是一个随机变量。有自己的分布，统计证明： $\hat{\beta_{1}}$ 服从正态分布。
期望：$E(\hat{\beta_{1}})=\beta_{1}$
标准差：$\sigma_{\hat{\beta_{1}}}=\frac{\sigma}{\sqrt{\sum{x_{i}^{2}}-\frac{1}{n}(\sum{x_{i}})^{2}}}$
由于误差项的标准差 $\sigma$ 未知，因此我们用估计标准误差 $s_{e}$代替：
$$s_{\hat{\beta_{1}}}=\frac{s_{e}}{\sqrt{\sum{x_{i}^{2}}-\frac{1}{n}(\sum{x_{i}})^{2}}}$$
步骤：
（1）提出假设
$$H_{0}:\beta_{1}=0；H_{1}:\beta_{1}\neq 0；$$
（2）构造统计量
$$t=\frac{\hat{\beta_{1}}-\beta_{1}}{s_{\hat{\beta_{1}}}}=\frac{\hat{\beta_{1}}}{s_{\hat{\beta_{1}}}}\approx t(n-2)$$
（3）作出决策。（由t分布是钟型分布，）查表做决策这里就说了大家都会。
注释：在一元线性回归中，自变量只有一个，上面介绍的线性关系 F检验 和回归系数的 t 检验是等价的，也就是说，如果 $H_{0}:\beta_{1}=0$ 被 t检验拒绝了，它自然会被 F检验所拒绝。但是在多元线性回归中（下个博客详解）这两种检验的意义是不同的，F 检验只是用来检验总体回归关系的显著性，而 t 检验是检测各个回归系数的显著性。
2.5回归分析结果评估
只说最重要的一点：
关于误差项 $\varepsilon$ 的正态分布是否成立，因为我们在对线性关系进行 F 检验和 t 检验时，都要求误差项服从正态分布，否则，所用的检验程序将是无效的。检验 $\varepsilon$ 正态性的简单方法是画出残差的直方图或者概率图。

---