机器学习中的线性回归学习笔记

特点：输出为连续值
模型：
线性回归所采用的模型如下式，

$x_1$、$x_2$是用来预测的两个特征，即用来预测标签的两个因素，这里只列出了含有两个特征的模型。

损失函数
用来衡量预测值与真实值之间的误差，这里采用的是平方损失

训练
把数据输入模型进行训练，来找出一组模型参数W、b，使训练样本平均损失最小，即使L(w，b)取得最小值的w和b的值。
为了得出解，可以直接计算得出公式表示的结果，这是解析解，而对于没有解析解的问题，需要通过优化算法有限次迭代模型参数来尽可能降低损失函数的值，这类解叫作数值解（numerical solution）。
常用的优化算法有随机梯度下降算法（SGD），如下式所示，L(w,b)为损失函数，a为学习率，通过不断的迭代使得参数W和b的值优化，而权重的初值采用随机初始化的方式。

SGD是针对每个样本都做一次优化，还有一种小批量梯度下降法（Mini-batch Gradient Descent，简称MBGD），在每次迭代中，先随机均匀采样⼀个由固定数⽬训练数据样本所组成的小批量（mini-batch），然后求小批量中数据样本的平均损失有关模型参数的梯度，最后⽤此结果与学习率的乘积作为模型参数在本次迭代的减小量。

模型训练完成后，可以进行模型的预测。

在深度学习中，我们可以使⽤神经⽹络图直观地表现模型结构，如下图，神经⽹络图隐去了模型参数权重和偏差。

图中的输入层的个数为2，输入个数也叫做特征数或特征向量维度，输出层的个数为1，这里直接将神经网络的输出o做为线性回归的输出。不考虑出入层，图中的神经网络的层数为1，所以，线性回归是一个单层的神经网络。同时，由于输出层中的神经元和输入层中的输入完全连接，故称为全连接层（full-connected layer）或稠密层（dense layer）。