反向传播算法（BP算法）

前言

BP 算法是迄今最成功的神经网络学习算法，现实任务中使用神经网络时，大多是在使用 BP 算法进行训练。BP 算法允许来自代价函数的信息通过网络向后流动，以便计算梯度。

反向传播的四个基本方程及推导

定义

在接下来的公式中：
$w_{jk}^l$ 表示从 $(l-1)^{th}$ 层的 $k^{th}$ 个神经元到 $l^{th}$ 层的 $j^{th}$ 个神经元的链接上的权重。
$a_j^l$ 表示 $l^{th}$ 层第 $j^{th}$ 个神经元的激活值。
$b_j^l$ 表示在 $l^{th}$ 层第 $j^{th}$ 个神经元的偏置。
$C$ 表示代价函数。
$L$ 表示输出层。
有了上面的表示，我们可以将两个相邻层之间的激活值通过方程关联起来：

$$z_j^l=\sum_kw_{jk}^la_k^{l-1}+b_j^l\\ a_j^l=\sigma(z_j^l)$$
其中 $\sigma()$ 为激励函数。
上面两个公式的向量化形式：
$$z^l=w^la^{l-1}+b^l\\a^l=\sigma(z^l)$$
关于代价函数的两个假设：
1. 代价函数可以被写成一个在每个训练样本 $x$ 上的代价函数 $C_x$ 的均值 $C=\frac{1}{n} \sum_xC_x$。
2. 代价可以写成神经网络输出的函数 $cost\ C=C(a^L)$。

最后，定义 $l$ 层的第 $j^{th}$ 个神经元上的误差 $\delta_j^l$ 为：

$$\delta_j^l \equiv \frac{\partial C}{\partial z_j^l}$$
反向传播其实是对权重和偏置变化影响代价函数过程的理解。最终极的含义其实就是计算偏导数 $\frac{\partial C}{\partial w_{jk}^l}$ 和 $\frac{\partial C}{\partial b_{j}^l}$。为了计算这些值，我们首先引入了一个中间量 $\partial_j^l$，这个我们称为在 $l^{th}$ 层第 $j^{th}$ 个神经元上的误差。
反向传播将给出计算误差 $\delta$ 的流程，然后将其关联到计算 $\frac{\partial C}{\partial w_{jk}^l}$ 和 $\frac{\partial C}{\partial b_{j}^l}$ 上。

四个方程式

我们先直接给出四个基本方程，然后给出推导的过程。

$$\begin{aligned} \delta^L=\nabla_aC\odot\sigma'(z^l) \qquad\qquad(BP1)\\ \delta^l=((w^{l+1})^T\delta^{l+1})\odot\sigma'(z^l)\qquad\qquad(BP2)\\ \frac{\partial C}{\partial b_{j}^l}=\delta_j^l\qquad\qquad(BP3)\\ \frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}\delta_j^l\qquad\qquad(BP4) \end{aligned}$$
其中， $\odot$ 运算符表示矩阵对应元素相乘。

四个基本方程的推导

BP1:
已知定义 $\delta_j^L = \frac{\partial C}{\partial z_j^L}$，应用链式法则，得：

$$\delta_j^L =\frac{\partial C}{\partial a_j^L}\frac{\partial a_j^L}{\partial z_j^L}$$
由 $a_j^L=\sigma(z_j^L)$ 得：
$$\delta_j^L=\frac{\partial C}{\partial a_j^L}\sigma'(z_j^L)$$
这就是 (BP1) 的分量形式。
BP2:
$$\begin{aligned} \delta &= \frac{\partial C}{\partial z_j^l} \\ &=\sum_k\frac{\partial C}{\partial z_k^{l+1}}\frac{\partial z_k^{l+1}}{\partial z_j^l} \\ &=\sum_k\frac{\partial z_k^{l+1}}{\partial z_j^l}\delta_k^{l+1} \end{aligned}$$
因为 (注意 $w_{kj}^{l+1}$表示的意义， $k,j$ 都是表示一层网路的第几个神经元，重要的是符号的位置)：
$$\begin{aligned} z_k^{l+1}&=\sum_jw_{kj}^{l+1}a_j^l+b_k^{l+1} \\ &=\sum_jw_{kj}^{l+1}\sigma(z_j^l)+b_k^{l+1} \end{aligned}$$
做微分，得：
$$\frac{\partial z_k^{l+1}}{\partial z_j^l}= w_{kj}^{l+1}\sigma'(z_j^l)$$
把他带入上式，得：
$$\delta_j^l=\sum_kw_{kj}^{l+1}\delta_k^{l+1}\sigma'(z_j^l)$$
这就是（BP2）的分量形式。
BP3：
$$\begin{aligned} \delta_j^l&=\frac{\partial C}{\partial z_j^l} \\ &=\frac{\partial C}{\partial b_j^l}\frac{\partial b_j^l}{\partial z_j^l} \end{aligned}$$
由 $z_j^{l}=\sum_kw_{jk}^{l}a_k^{l-1}+b_j^{l}$ 得：
$$\frac{\partial b_j^l}{\partial z_j^l}=1$$
因此：
$$\frac{\partial C}{\partial b_j^l}=\delta_j^l$$
BP4:
$$\begin{aligned} \frac{\partial C}{\partial w_{jk}^l}=\frac{\partial C}{\partial z_j^l}\frac{\partial z_j^l}{\partial w_{jk}^l} \end{aligned}$$
由 $z_j^l=\sum_kw_{jk}^la_k^{l-1}+b_j^l$ 得：
$$\frac{\partial z_j^l}{\partial w_{jk}^l}=a_k^{l-1}$$
因此：
$$\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}\delta_j^l$$

反向传播算法流程

1. 输入 $x$：为输入层设置对应的激活值 $a^1$
2. • 前向传播：对每个 $l=2,3,\ldots,L$ 计算相应的 $z^l=w^la^{l-1}+b^l$ 和 $a^l=\sigma(z^l)$
   • 输出层误差 $\delta^L$：计算向量 $\delta^L = \nabla_aC\cdot\sigma'(z^L)$
   • 反向误差传播：对每个 $l=L-1,L-2,\ldots,2,$ 计算 $\delta^l=((w^{l+1})^T\delta^{l+1})\cdot\sigma'(z^l)$
   • 输出：代价函数的梯度由 $\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}\delta_j^l$ 和 $\frac{\partial C}{\partial b_j^l}=\delta_j^l$ 得出