深度学习——线性神经网络

线性回归

1.什么是线性回归

以下是百度百科的参考

线性回归就是去分析一堆自变量X与因变量Y的线性关系，是一种定量的计算

线性回归的应用：比如想要预测房价与面积与房龄的关系，就可以表示为面积与房屋年龄分别与对应的元素相求和

房价=W1*房屋面积+W2*房屋年龄+W3*房屋厕所数量+偏置

放到机器学习：
房间就是我们的预测结果   厕所数量等房屋信息的就叫做特征，用矩阵—向量乘法可表示为

其中矩阵X是多个样本所组成的矩阵 

 y_hat=Xw+b

为什么要在数据集中加入噪音？

虽然我们相信给定 x 预测 y 的最佳模型会是线性的，但我们很难找到一个有 n 个样本的真实数据集，其中对于 所有的1 ≤ i ≤ n ， y ( i ) 完全等于 w ⊤ x ( i ) + b 。无论我们使用什么手段来观察特征 X 和标签 y ，都可能会出现少量 的观测误差。因此，即使确信特征与标签的潜在关系是线性的，我们也会加入一个噪声项来考虑观测误差带 来的影响。 就比如厕所面积大约10m^2 也可能是11.5m^2 数据是存在测量上的误差

2损失函数

定义：量化实际值与预测值之间的差距，一般为非复数。

在回归分析中我们一半采用平方误差损失

loss(w,b)=1/2  * (y_hat-y)^2

为了度量模型 在整个数据集上的质量，我们需计算在训练集n 个样本上的损失均值（也等价于求平均）

 在训练模型时，我们希望寻找一组参数（w∗ , b∗），这组参数能最小化在所有训练样本上的总损失

3.随机梯度下降 

批量梯度下降（BGD）和随机梯度下降（SGD）。在批量梯度下降中，每次迭代时，我们使用所有训练样本来计算损失函数和梯度，并更新参数。这种方法可以获得全局最优解，但是对于大规模数据集来说，计算成本很高。

相比之下，随机梯