深度学习入门-1（线性回归，Softmax与分类模型，多层感知机）

一、线性回归

1、基本形式

线性回归是单层线性网络，定义如下：

单层线性网络图如下：

2、损失函数

在模型训练中，我们需要衡量网络输出与实际输出之间的误差。通常我们会选取一个非负数作为误差，且数值越小表示误差越小。一个常用的选择是平方函数。 它在评估索引为 i 的样本误差的表达式为

3、优化函数

优化函数有多种，此处使用最常用的随机梯度下降，优化函数实际就是通过在负梯度方向移动参数来更新每个参数。

4、训练步骤

线性回归模型训练步骤：

1. 加载数据，初始化模型参数（一般来说使用随机初始化）
2. 输入训练数据，通过模型得到网络输出
3. 对比网络输出与真实输出（使用损失函数计算误差）
4. 使用优化函数修正权值与偏置