一元线性回归的详解及其Spss和Java的实现 之 理论说明

不要过于教条地对待研究的结果，尤其当数据的质量受到怀疑时。

本文主要对统计学中最常见的一元线性回归内容进行系统全面的讲解，以及相应案例的Excel Spss 和Java的相关实现。
准备知识 ： 对概率中随机变量的期望、方差、协方差、和相关系数的定义、性质和简单的计算。可参考期望,方差,协方差及相关系数
[注释:]上述参考文档中在性质3中线性组合的方差中书写错误: 正确如下:

$$var(ax+by)=a^{2}var(x)+b^{2}var(y)+2abcov(x,y).$$
参考资料 ：贾俊平统计学第6版.

一元线性回归内容详解

1.1 变量间的关系

变量与变量之间的关系呢可以分为两种：
（1）函数关系；
（2）相关关系；
函数关系：设有两个变量$x$和$y$，变量$y$随变量$x$一起变化，并完全依赖于$x$,也就是，当$x$取某个值时，$y$依确定的关系取相应的值，则称$y$是$x$的函数：$y=f(x)$, $x$为自变量，$y$为因变量。
相关关系 :当变量之间的这种确定关系变为不确定的数量关系，就是相关关系。
相关关系的特点：一个变量的取值并不能由另一个变量唯一确定，当变量$x$取某个值时，变量$y$的取值可能有几个。对这种关系的不确定性没法用函数关系来表示，但也不是无任何规律可寻。

1.2 相关关系的描述和测度

相关分析要解决的问题：
（1）变量之间是否存在关系；
（2）如果存在关系，他们之间是什么样的关系；
（3）他们之间的关系强度如何；
（4）如何确定用样本所反映的变量之间的关系可以代替总体变量之间的关系。
前提假设：
（1）两个变量之间是线性关系；
（2）两个变量都是随机变量。
步骤 ：
（1）绘制散点图来判断变量之间的关系形态，如果是线性关系，可以用相关系数来测度两个变量的关系强度。
（a）正线性相关；
（b）负线性相关；
（c）完全正线性相关；
（d）完全负线性相关；
（e）非线性相关；
（f）不相关。
（2）对相关系数进行显著性检验，以判断样本所反映的关系能否用来代表两个变量总体上的关系。
总体相关系数 $\rho$ :根据总体数据计算的，称为总体相关系数；
样本相关系数 $r$ :根据样本的数据计算的，称为样本相关系数；
样本相关系数计算公式 ：

$$r=\frac{\sum(x-\bar{x})(y-\bar{y})}{\sqrt{\sum\left( x-\bar{x}\right) ^{2}\sum\left( y-\bar{y}\right) ^{2}}}$$
公式简化：

r=∑(x−x¯)(y−y¯)∑(x−x¯)2∑(y−y¯)2−−−−−−−−−−−−−−−−−−√=∑(xy−x¯y−yx¯+x¯y¯)∑(x2+x¯2−2xx¯)−−−−−−−−−−−−−−√∑(y2+y¯2−2yy¯)−−−−−−−−−−−−−−√=∑xy−x¯∑y−y¯∑x+∑x¯y¯∑x2+∑x¯2−2x¯∑x−−−−−−−−−−−−−−−−−−√∑y2+∑y¯2−2y¯∑y)−−−−−−−−−−−−−−−−−−−√=∑xy−nx¯y¯−ny¯x¯+nx¯y¯∑x2+nx¯2−2nx¯2−−−−−−−−−−−−−−−√∑y2+ny¯2−2ny¯2)−−−−−−−−−−−−−−−−√=n∑xy−∑x∑yn∑x2−(∑x)2−−−−−−−−−−−−−√n∑y−(∑y)2−−−−−−−−−−−−