深度学习和神经网络（梯度下降算法）

1.5损失函数

        前面的联系存在神经网络如何学习识别数字，首先需要一个供学习使用的数据集——训练数据集，简称训练集。除此之外，我们还需要测试集来评估神经网络识别数字的水平。

           如上图所示，用符号x 表示训练输入。方便起见，把训练输入神经元看作 28×28=784 维的向量。向量中的每一项代表图像中单个像素的灰度值。我们用  y=y（x）表示对应的目标输出，其中y  是一个 10 维向量。例如对于一个写成“6”的训练图像 ，神经网络的目标输出就是 。注意，T 是转置操作，它把行向量转换成列向量。 

在具体实现时，一般情况下希望有算法能找到合适的权重和偏置，使得神经网络的输出 y(x) 能够拟合所有训练输入x，为了量化这个结果，一般情况下会定义一个损失函数，损失函数的定义如下所示：

        在这个函数之中，w表示神经网络中所有权重的集合，b 是所有偏置， n是训练输入的数量， a表示输入为 x 时输出的向量