线性回归算法

大致思想

机器学习中的线性回归算法最基本的思想：根据数据集（feature+label）模拟出一条近似的曲线，使得每个点的落点都在曲线上或者是曲线的周围不远的地方。

实现方法

1.回归模型

首先设该线性回归函数为$y={\sum }_i^{property}{w}_{i}x+b$ (w是权重，b是偏置值，x是输入的数据，y表示预测值)。

2.损失函数

损失函数表示预测的值和lable值的差距，这里取平方和的意义在于“放大”预测值和真实值的差距（这里的放大有两种含义：差距大于1平方后会放大差距，差距小于1平方后会缩小差距）。

损失函数：$Los{s}_{lable}=\frac{1}{2num}{\sum }_{n=1}^{num}{\left({\hat{y}}_n-y_n\right)}^2$

其中num表示数据的规模，${\hat{y}}_n$表示真是值，$y_n$表示预测值。这里用欧式距离计算的损失值是平均损失，乘1/2为了的后面求导将系数变为1方便计算

关于过拟合问题：

为了防止过拟合我们应该加入regulation项，因为b是个常数，只需要考虑w就好了。

通常regulation项这么定义：$Los{s}_{regulation}=\frac{1}{2}{\sum }_{i=1}^{property}{w}_i^2$

综上损失函数：

$Loss=Los{s}_{lable}+Los{s}_{regulation}=\frac{1}{2}\left[\frac{1}{num}{\sum }_{n=1}^{num}{\left({\hat{y}}_n-y_n\right)}^2+\beta {\sum }_{i=1}^{property}{w}_i^2\right]$（$\beta$为正则系数）

3.梯度更新

我们的目标就是使得Loss尽可能的减小，所以所要优化的参数就是权重w和偏置值b，所以我们要求得Loss在w和b上的偏微分。

$\frac{\partial Loss}{\partial w_i}=\frac{1}{num}{\sum }_{n=1}^{num}\left({\hat{y}}_n-{\sum }_{i=1}^{property}{w}_i{x}_i-b\right)\left(-x_i\right)+\beta {\sum }_{i=1}^{property}{w}_i$

$\frac{\partial Loss}{\partial b}=\frac{1}{num}{\sum }_{n=1}^{num}\left({\hat{y}}_n-{\sum }_{i=1}^{property}{w}_i{x}_i-b\right)\left(-1\right)$

进行梯度更新：

$w_{newi}=w_i-{\eta }_w\frac{\partial Loss}{\partial {\omega }_i}$

$w_{newb}=b-{\eta }_b\frac{\partial Loss}{\partial b}$

其中${\eta }_w$为权重w的学习率，${\eta }_b$是偏置值b的学习率。

3.学习率的更新：

这里我们使用比较经典的adagrad(中心思想：刚开始我们更新的时候要让$\frac{\partial Loss}{\partial w_i}$的值比重较大进而其更新的幅度就较大，当更新一定的次数之后，曲线就越来越接近理想曲线，这时我们希望更新的幅度变小，这样才更容易拟合曲线。我们就要每次训练不断的减小学习率的值)

学习率更新公式:${\eta }_n=\frac{{\eta }_{n-1}}{\sqrt{\overline{{\sum }_{i=1}^{n-1}gra{d}_i^2}}}$