特点:输出为连续值
模型:
线性回归所采用的模型如下式,
x1x_1x1、x2x_2x2是用来预测的两个特征,即用来预测标签的两个因素,这里只列出了含有两个特征的模型。
损失函数
用来衡量预测值与真实值之间的误差,这里采用的是平方损失
训练
把数据输入模型进行训练,来找出一组模型参数W、b,使训练样本平均损失最小,即使L(w,b)取得最小值的w和b的值。
为了得出解,可以直接计算得出公式表示的结果,这是解析解,而对于没有解析解的问题,需要通过优化算法有限次迭代模型参数来尽可能降低损失函数的值,这类解叫作数值解(numerical solution)。
常用的优化算法有随机梯度下降算法(SGD),如下式所示,L(w,b)为损失函数,a为学习率,通过不断的迭代使得参数W和b的值优化,而权重的初值采用随机初始化的方式。
SGD是针对每个样本都做一次优化,还有一种小批量梯度下降法(Mini-batch Gradient Descent,简称MBGD),在每次迭代中,先随机均匀采样⼀个由固定数⽬训练数据样本所组成的小批量(mini-batch),然后求小批量中数据样本的平均损失有关模型参数的梯度,最后⽤此结果与学习率的乘积作为模型参数在本次迭代的减小量。
模型训练完成后,可以进行模型的预测。
在深度学习中,我们可以使⽤神经⽹络图直观地表现模型结构,如下图,神经⽹络图隐去了模型参数权重和偏差。
图中的输入层的个数为2,输入个数也叫做特征数或特征向量维度,输出层的个数为1,这里直接将神经网络的输出o做为线性回归的输出。不考虑出入层,图中的神经网络的层数为1,所以,线性回归是一个单层的神经网络。同时,由于输出层中的神经元和输入层中的输入完全连接,故称为全连接层(full-connected layer)或稠密层(dense layer)。