基于Python的一元线性回归

1. 变量间的关系

自然界和社会经济中的事物或现象之间总是相互联系、相互依存、相互制约的，而反映这些联系的数量关系有两种：一种是函数关系，另一种是相关关系。

• 函数关系 是一种确定性关系，它是指当一个或几个变量取值一定时，另一个变量有确定的值与之对应，并且可以用函数描述出来。比如，某商品的销售收入I与该商品的销售量Q和销售价格之间P，可以这样表示：I=PQ。
• 相关关系 是一种非完全确定的关系，无法用确定的函数关系式表达。其特点在于变量之间在数量上确实存在着一定的内在联系，但这种在数量上的依存关系是不确定的，具有一定的随机性。

2. 回归分析

回归分析的主要研究对象是客观事物变量间的统计关系，是处理多个变量之间相关关系的一种数学方法。
在回归分析中，将一类变量视为解释变量，即自变量，而另一类变量视为被解释变量，即因变量。自变量可以是一个，也可以是多个，但因变量只能是一个。自变量只有一个时称为一元线性回归，自变量有两个及以上的回归分析称为多元回归分析。如果变量之间的关系为直线关系，称为线性回归，否则为非线性回归。

3. 一元线性回归模型

一元线性回归模型反映的是一个因变量(Y)和一个自变量(X)之间的线性关系，其一般形式为：

Y=\beta_0+\beta_1X+\epsilon

上式中，\beta_0、\beta_1为待估参数，\epsilon为随机误差项，通常假定\epsilon \sim N(0,\sigma ^2) 。

下面通过例子来说明如何建立一元回归模型。
假设在某一社区中随机抽取了10个家庭研究其家庭收入与家庭食品支出的关系，得到表1的数据，试根据这些数据建立家庭食品支出和家庭收入x之间的相关关系。

表1 家庭收入与食品支出（单位：百元）

家庭	1	2	3	4	5	6	7	8	9	10
家庭收入	20	30	33	40	15	13	26	38	35	43
食品支出	7	9	8	11	5	4	8	10	9	10

首先，以家庭收入为自变量，家庭食品支出为因变量，画出表1中家庭收入与食品支出数据的散点图

import matplotlib.pyplot as plt
import numpy as np
from pylab import *
x = np.array([20,30,33,40,15,13,26,38,35,43])
y = np.array([7,9,8,11,5,4,8,10,9,10])
mpl.rcParams['font.sans-serif'] = ['SimHei']
plt.scatter(x, y)
plt.xlabel("家庭收入")
plt.ylabel("食品支出")
plt.show()

从散点图中可以看到这些点分布在某一条直线附近，也就是说y和x之间具有线性关系，但是这些点又不在同一直线上，所以y和x之间不存在确定的关系。这样，可以认为x和y之间的关系由两部分组成，一部分是由x的线性函数\beta_0+\beta_1 x引起的，一部分是由随机因素\epsilon引起的，即：

y=\beta_0+\beta_1 x+\epsilon

这时y的数学期望 (y)=\beta_0+\beta_1 x是x的线性函数，称y为x的一元线性函数。
若研究y与x之间的关系，在有n个样本观测点{(x_i,y_i ):i=1,2,…,n}的情况下，上式可写成如下形式：