线性模型（1）——线性回归及代码实现

基本形式

在聊基本形式之前，首先明确线性模型的目的:假设有一个实体$y$，它的取值由许多东西决定，假设有d个属性$x=(x_1;x_2;\dots ;x_d)$可以决定$x$的取值，(x是一个列向量),线性模型就是希望能够通过这d个属性的线性组合来预测$y$的值,知晓了这个目的,线性模型的形式也就呼之欲出了:
$f(x)={\omega }_1{x}_1+{\omega }_2{x}_2+\dots +w_d{x}_d+b$
这个式子里每个属性前都有一个因子与之相乘，可以将它们看作这个属性的重要程度
令$\omega =({\omega }_1;{\omega }_2;\dots ;{\omega }_d)$（$\omega$也是一个列向量）,我们可以轻松地将$f(x)$改写为$f(x)={\omega }^{T}x+b$
一个最简单的线性模型的例子就是初中就学过的一次函数:

图示就是一个线性模型的例子，图上有三个点，假如我们就需要根据这三个点的横坐标去预测他们的纵坐标并做出了这条直线，从图可以看出我们的预测是完全正确的

一元线性回归

示意

但能完美的落在一条直线上的样本实在是太少了，在绝大多数情况下我们没有办法直接给出一条过所有样本点的直线，于是我们转而去寻找一条和样本点接近的直线，比如下图

虽然这条直线并没有经过样本中任何一个点，但与每一个点距离都很近，因此这条直线是对这整个样本最好的模拟，于是问题来了，我们该如何衡量直线与样本点的距离呢?

误差表示

在此，我们规定样本点$(x_i,y_i)$与直线预测的点$(x_i,f(x_i))$的距离为$(f(x_i)-y_i{)}^2$，这个表达式被称为均方误差，它的好处在于样本点相对于直线的位置有上有下，通过平方项去估计总误差可以避免误差互相抵消，完成了定义，我们的目标就很明确了:
$$\begin{gathered} ({\omega }^{\ast },b^{\ast })=\underset{(\omega ,b)}{\mathrm{argmin}}{\Sigma }_{i=1}^m(f(x_i)-y_i{)}^2 \\ =\underset{(\omega ,b)}{\mathrm{argmin}}{\Sigma }_{i=1}^m(f(x_i)-\omega x_i-b{)}^2 \end{gathered}$$
$argmin$表示使得后面表达式取最小值时参数的取值

参数求解

令$E_{\omega ,b}={\Sigma }_{i=1}^m(f(x_i)-\omega x_i-b{)}^2$
对于参数的求解使用最小二乘法即可:
$\frac{\partial E_{(\omega ,b)}}{\partial \omega }=2(\omega {\Sigma }_{i=1}^m{x}_i^2-{\Sigma }_{i=1}^m(y_i-b)x_i)$
$\frac{\partial E_{(\omega ,b)}}{\partial b}=2(mb-{\Sigma }_{i=1}^m(y_i-\omega x_i))$
令这两项为0，即可得到
$\omega =\frac{{\Sigma }_{i=1}^m{y}_i(x_i-\bar{x})}{{\Sigma }_{i=1}^m{x}_i^2-\frac{1}{m}({\Sigma }_{i=1}^m{x}_i{)}^2}$
$b=\frac{1}{m}{\Sigma }_{i=1}^m(y_i-\omega x_i)$
其中$\bar{x}=\frac{1}{m}{\Sigma }_{i=1}^m{x}_i$是$x$的均值

代码

给出示意中直线的绘制代码

import numpy as np
import matplotlib.pyplot as plt
import random
x = np.arange(2, 5, 0.01)


def func_ran (x):
    if type(x) != float and type(x) != int:
        y = []
        for t in x:
            y_1 = 0.5*t + 1 + random.uniform(-0.2,0.2)
            y.append(y_1)
        return y
    return 0.5 * x + 1 + random.uniform(-0.2,0.2)


def func (x,omega,b):
    y = []
    for t in x:
        y.append(omega * t + b)
    return y


x1 = [2.1,2.1,2.4,2.3,2.5,2.7,3.0,3.4,3.6,4.0,3.8,4.7,4.5,4.7,2.7]
avgx = sum(x1) / len(x1)
y1 = func_ran(x1)
matx = np.matrix(x1)
omega = ((np.matrix(y1)) * (matx - avgx).T).sum() / ((matx * matx.T).sum() - sum(x1)**2/len(x1))
omegax = omega * matx
b = ((y1 - omegax).sum())/len(x1)
y = func(x,omega.sum(),b)
plt.plot(x, y, label="y = {0:.3f}x + {1:.3f}".format(omega,b))
plt.xlabel("x")
plt.ylabel("y")
plt.legend()
plt.scatter(x1,y1,c = 'r')
plt.show()

多元线性回归

表示

为了进一步方便线性回归的向量表示,我们将$\omega$,$b$用一个矩阵来表示，向量形式写作$\hat{\omega }=(\omega ;b)$,

为了能够满足前述$f(x)={\omega }^{T}x+b$的形式,我们在$x$的右侧增加一列，该列元素全一，并写作

请注意，$X$并不是只有两列，它的列数与他的特征数有关
于是我们很容易得到$f(X)=X\hat{\omega }$,这是一个行向量，具体行数与样本数量有关

误差衡量与参数求解

仿照之前对误差的衡量，我们得到此时的误差衡量式:
$(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$行向量在转置后成为一个列向量，因此如此计算后会得到一个常数
我们的目标就变成了
${\hat{\omega }}^{\ast }=\underset{\hat{\omega }}{\mathrm{argmin}}(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$
令$E_{\hat{\omega }}=(y-X\hat{\omega }{)}^T(y-X\hat{\omega })$
同样进行求导
$\frac{\partial E_{\hat{\omega }}}{\partial \hat{\omega }}=2X^T(X\hat{\omega }-y)$
令其为0
得到${\hat{\omega }}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$