深度学习的数学-神经单元误差和反向传播

排版可能稍微好一点的永久博客链接：深度学习的数学-神经单元误差和反向传播

前言

本篇博客主要讲神经单元误差的定义及其含义，以及比较重要的误差反向传播法，也就是大名鼎鼎的BP算法

正文

神经单元误差

梯度下降算法在实际应用中的难点

之前提到的梯度下降法，可以通过算偏导数的形式来获得梯度，从而以最快的速度把所有偏导数降到0
但是有一个比较麻烦的问题是，神经网络的规模比较大，将平方误差的式子化简到以神经单元的权重和偏置的表示就很麻烦了，更别说还要对每个权重和偏置做偏导数

神经单元误差的定义和含义

书中定义了神经单元误差如下，表示误差函数对某个神经单元的综合输入的偏导数

这个偏导数有什么含义呢？从式子上可以理解为 加权输入 $z_j^l$ 给平方误差（损失函数）的变化率，根据最小值条件（z是关于权重、偏置的函数），在极值点的时候，这个变化率也应该是0，故可以称之为误差

神经单元误差关于权重和偏置的偏导数（重点）

然后下一步就是把这个定义融入到现有的平方误差关于权重和偏置的偏导数中去，希望能得到一个偏导数与神经单元误差的关系

平方误差的式子如下：

PS:本篇博客都用书中提到的 3 * 4 的黑白图像识别 0/1 的模型作为例子，第一层是输入层，第二层式隐藏层，第三层是输出层

在看推导之前，可以先复习一下单变量和多变量偏导数公式，可以参考之前写的一篇博客 深度学习的数学原理-复杂函数求导的链式传递及多变量近似公式

关于权重的偏导数推导

根据单变量偏导数公式（设$z_1^2$为$w_{11}^2$的函数），即可得到如下式子

还是以3 * 4的黑白图片识别0/1为例子，根据神经单元误差的定义，以及 z 1 2 = w 11 2 x 1 + w 12 2 x 2 + . . .