数据分析之线性回归及代码实现

一、基本形式：

给定由 d 个属性描述的实例，其中 $x_i$ 是 $x$ 在第 $i$ 个属性上的取值， 线性模型（linear model）试图学得一个通过属性的线性组合来进行预测的函，即：$f(x)=w_1{x}_1+w_2{x}_2+...+w_2{x}_2+b$，
一般用向量形式写成：$f(x)=w^{T}x+b$，其中 $w=(w_1;w_2;...;w_d;)$，
$w$ 和 $b$ 的值确定之后，模型就可以随之确定。

二、线性回归：

给定数据集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\left\{ (x_{1},y_{1}),(x_{2},y_{2}),...,(x_{m},y_{m}) \right\} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},
其中 $x_i=(x_{i1};x_{i2};...;x_{id};),y_i\in R.$“线性回归”(linear regression)试图以尽可能准确地预测实值输出标记。
线性回归试图学得 $f(x_i)=w{x}_i+b,使得f(x)\cong y_i.$
而如何确定 $w$ 和 $b$，关键在于如何衡量 $f(x)$ 与 $y$ 之间的差别。
当均方误差最小化（最小二乘法）时，上述两者之间的差别最小，即可求得线性回归函数。
找到一条直线，使得所有样本到直线上的欧式距离之和最小。
$(x^{\ast },b^{\ast })={\mathrm{argmin}}_{(w,b)}{\sum }_{i=1}^m(f(x_i)-y_i{)}^2={\mathrm{argmin}}_{(w,b)}(y_i-w{x}_i-b{)}^2$

分别令上述式子对 $w$ 和 $b$ 的偏导为0，可得到 $w$ 和 $b$ 的最优解为:

$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2},$$

$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i),$$
其中，$\bar{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$ 为 $x$ 的均值。

当然，我们遇见的更一般的情况是数据集中的样本由多个属性描述，此时我们试图学得$f(x_i)=w^T{x}_i+b,使得f(x_i)\cong y_i,$这种情况称之为多元线性回归。
类似的，可以用最小二乘法来对 $w$ 和 $b$ 进行估计，为方便，将$w$ 和 $b$ 吸收入向量形式 $\hat{w}=(w;b)$,相应地把数据集表示成一个 $ m \times （d+1）$ 的矩阵 $X$,其中每一行对应一个示例，该行的前 $d$ 个元素对应于 $d$ 个属性值，最后一个元素恒置为1，即：

再把标记也写成向量形式 $y=(y_1;y_2;...;y_m)$,故有：

$${\hat{w}}^{\ast }={\mathrm{argmin}}_{\hat{w}}(y-X\hat{w}{)}^T(y-X\hat{w}).$$
使${\hat{w}}^{\ast }$的偏导为0即可求得最优解。具体步骤略。

最终学得的多元线性回归模型为：$f(\widehat{x_i})={\hat{x}}_i^T(X^{T}X{)}^{-1}{X}^{T}y$。

三、代码实现及例子：

以下为线性模型的 Python 代码实现

import numpy as np
import matplotlib.pyplot as plt
"""
利用 Python 实现线性回归模型
"""
class LinerRegressionModel(object):
    def __init__(self, data):
        self.data = data
        self.x = data[:, 0]
        self.y = data[:, 1]

    def log(self, a, b):
        print("计算出的线性回归函数为:\ny = {:.5f}x + {:.5f}".format(a, b))

    def plt(self, a, b):
        plt.plot(self.x, self.y, 'o', label='data', markersize=10)
        plt.plot(self.x, a * self.x + b, 'r', label='line')
        plt.legend()
        plt.show()

    def least_square_method(self):
        """
        最小二乘法的实现
        """
        def calc_ab(x, y):
            sum_x, sum_y, sum_xy, sum_xx = 0, 0, 0, 0
            n = len(x)
            for i in range(0, n):
                sum_x += x[i]
                sum_y += y[i]
                sum_xy += x[i] * y[i]
                sum_xx += x[i]**2
            a = (sum_xy - (1/n) * (sum_x * sum_y)) / (sum_xx - (1/n) * sum_x**2)
            b = sum_y/n - a * sum_x/n
            return a, b
        a, b = calc_ab(self.x, self.y)
        self.log(a, b)
        self.plt(a, b)


data = np.array([[1, 2.5], [2, 3.3], [2.5, 3.8],[3, 4.5], [4, 5.7], [5, 6]])
model = LinerRegressionModel(data)
model.least_square_method()

最终输出结果为:

---

sklearn 中也带有线性回归的代码模块。

sklearn.linear_model中的LinearRegression可实现线性回归
• LinearRegression 的构造方法：
• LinearRegression(
fit_intercept=True, #默认值为 True，表示 计算随机变量，False 表示不计算随机变量
normalize=False, #默认值为 False，表示在回归前是否对回归因子X进行归一化True 表示是 ,
copy_X=True
)

LinearRegression 的常用方法有：
• decision_function(X) #返回 X 的预测值 y
• fit(X,y[,n_jobs]) #拟合模型
• get_params([deep]) #获取 LinearRegression 构造方法的参数信息
• predict(X) #求预测值 #同 decision_function

例子：波士顿房价的线性关系。

from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_boston
import matplotlib.pyplot as plt

"""
线性回归
"""
# 1.获取数据
boston = load_boston()  # 获取波士顿房价的数据
x = boston.data[:, 5:6]  # 取数据第五列为 x 的值
y = boston.target  # 取 y 值

# 2.训练模型
model2 = LinearRegression().fit(x, y)

# 3.模型预测
pre = model2.predict(x)

# 4.绘制结果
plt.scatter(x, y, color='red')
plt.plot(x, pre)
plt.show()
plt.close()

输出结果为: