反向传播（BP）算法的一种启发式理解

反向传播算法是神经网络中的经典算法，算法本身并不复杂，通过理解反向传播能够更深入的理解神经网络的工作方式。本文从一个化简$\frac{\partial C}{\partial w}$微分方程的思路，循序渐进地引出反向传播算法公式，注意这不是十分严格的数学推导。

当使用梯度下降法时，我们需要计算$\frac{\partial C}{\partial w}$，再根据

$$w=w-\eta \frac{\partial C}{\partial w}\text{\hspace{1em}(1)}$$

更新权重，其中$\eta$为学习率。

而在反向传播算法中，更新$\frac{\partial C}{\partial w}$的计算复杂度为O(n)，可以通过一次正向传播和一次反向传播更新全部权重。

这里推荐《深度学习之美》，在众多的资源中，我认为其是形象基础的，本文也多受其启发。

符号介绍

因为众多的文章书籍并没有统一的符号规范，这里先对本文使用的符号进行规范，以免发生混淆：

符号	意义
$L$	表示网络的总层数
$w_{j,k}^l$	表示第l-1层第k个神经元到第l层第j个神经元的权重$w$
$b_j^l$	表示第l层第j个神经元的偏置$b$
$a_j^l$	表示第l层第j个神经元的激活值$a$
$z_j^l=w_j^l{a}^{l-1}+b_j^l$	表示第l层第j个神经元的带权输入$z$
$a_j^l=\sigma (z_j^l)$	$\sigma$表示sigmiod激活函数
$C$	代价函数

精力有限，文章中未对向量、标量、矩阵的表示方式进行严格区分，通常只有上标没有下标的参数为向量。

拆解直接计算

本文以如下图的一个多层感知机（MLP）为例，为了使公式更加简洁，我们省略偏置和激活函数。

正向传播

我们首先需要回顾一下正向传播的过程，对于本文网络，最后一层的神经元的激活值为：

$$a^4=w^4\cdot (w^3\cdot (w^2\cdot a^1))\text{\hspace{1em}(2)}$$

其中$w^4$，$w^3$，$w^2$分别为3-4层、2-3层、1-2层的权重矩阵（再次提醒已忽略偏置和激活函数）。以$w^3$为例，其矩阵为：

$$w^3=\left[\begin{array}{cc}{w}_{1,1}^3& w_{1,2}^3\\ w_{2,1}^3& w_{2,2}^3\end{array}\right]\text{\hspace{1em}(3)}$$

当使用均方误差作为代价函数时：

$$C=\frac{1}{2}||y-a_1^4|{|}^2\text{\hspace{1em}(4)}$$

可以看到其本质就是一个复合函数。

直接计算梯度

在公式（2）中，矩阵乘法可以写为线性方程组，因此代价函数可表示为：

$$C=f(w_{1,1}^1,w_{1,2}^1,...,w_{1,2}^4,w_{2,2}^4)\text{\hspace{1em}(5)}$$

即$C$可以表示为自变量只包括各权重的函数，因此最简单的办法是将其公式全部分解再计算。很显然当网络较大时，这种办法是不可行的。本节的目的主要是为了熟悉正向传播过程。

使用链式法则计算梯度

复合函数求导

在大学高数微积分中针对复合函数可以使用链式法则快速求解，有时也可以利用中间变量方便求导。
其基本公式为：

$$\frac{\partial z}{\partial x}=\frac{\partial z}{\partial t}\cdot \frac{\partial t}{\partial x}\text{\hspace{1em}(6)}$$

我们可以使用该方法计算出：

$$\frac{\partial C}{\partial w_{1,1}^4}=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial w_{1,1}^4}\text{\hspace{1em}(7)}$$

$$\frac{\partial C}{\partial w_{1,1}^3}=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_1^3}\frac{\partial a_1^3}{\partial w_{1,1}^3}\text{\hspace{1em}(8)}$$

$$\frac{\partial C}{\partial w_{2,1}^3}=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_2^3}\frac{\partial a_2^3}{\partial w_{1,1}^3}\text{\hspace{1em}(9)}$$

$$\frac{\partial C}{\partial w_{1,2}^3}=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_1^3}\frac{\partial a_1^3}{\partial w_{1,2}^3}\text{\hspace{1em}(10)}$$

这使得我们不用将公式(2)全部分解为公式(5)也能计算部分梯度。

链式法则

然而有的时候选择合适的一个$t$是很难的，因为往往微分不是“单链的”，比如计算$\frac{\partial C}{\partial w_{1,1}^2}$：

$$\frac{\partial C}{\partial w_{1,1}^2}=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial z_1^4}...\frac{\partial z_1^4}{\partial w_{1,1}^2}\text{\hspace{1em}(11)}$$

公式中的$...$该如何填写？这里我们需要扩充复合函数求导，本节主要摘选自Christopher Olah的blog。

对于：

$$\begin{gathered} c=a+b \\ d=b+1 \\ e=c\times d \\ \text{\hspace{1em}(11)} \end{gathered}$$

我们可以生成如下图的图形化表示，该图称为计算图（Computational Graphs）。

计算图是链式法则的一种图形化表示，是为了后续方便理解和寻找路径。

对于求解$\frac{\partial e}{\partial a}$，我们可以看到a只通过影响c最终影响e的结果，即只有一条a->c->e一条路径。因此：

$$\frac{\partial e}{\partial a}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial a}$$

使用“影响”这个词可能显得并不专业且较为抽象。

对于求解$\frac{\partial e}{\partial b}$，我们可以看到b通过影响c和d两条路径最终影响e的结果，即包括b->c->e、b->d->e两条路径，并不是“单链的”，因此：

$$\frac{\partial e}{\partial b}=\frac{\partial cd}{\partial b}=d\frac{\partial c}{\partial b}+c\frac{\partial d}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac{\partial e}{\partial d}\frac{\partial d}{\partial b}$$

我们可以将此求微分的方法总结为同一条路径的节点相乘，最后将所有的路径相加。

注意结点之间相乘是因为复合函数求导公式(6)，当使用中间变量时需要使用乘法。

所有路径相加是依据全微分公式，当有多个中间变量时需要使用加法。

路径的加法和乘法与公式(11)中各子式中的运算符号是无关的，公式中的加法和乘法只影响如$\frac{\partial e}{\partial c}$、$\frac{\partial c}{\partial a}$的求解，请注意区分。

使用链式法则计算梯度

根据链式法则我们现在可以求出$\frac{\partial C}{\partial w_{1,1}^2}$，可以看到$w_{1,1}^2$有$a_1^2$->$a_1^3$->$a_1^4$和$a_1^2$->$a_2^3$->$a_1^4$两条路径，因此：

$$\begin{gathered} \frac{\partial C}{\partial w_{1,1}^2}=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_1^3}\frac{\partial a_1^3}{\partial a_1^2}\frac{\partial a_1^2}{\partial w_{1,1}^2}+\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_2^3}\frac{\partial a_2^3}{\partial a_1^2}\frac{\partial a_1^2}{\partial w_{1,1}^2} \\ =(\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_1^3}\frac{\partial a_1^3}{\partial a_1^2}+\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_2^3}\frac{\partial a_2^3}{\partial a_1^2})\frac{\partial a_1^2}{\partial w_{1,1}^2}\text{\hspace{1em}(12)} \end{gathered}$$

反向传播二次简化梯度计算

到现在我们已经从简单粗暴的拆解直接计算，到使用链式法则简化计算。这距离反向传播只剩一步之遥了。

链式法则的问题

通过对比公式(7)、(8)、(9)、(10)、(11)我们可以发现，其中均有$\frac{\partial C}{\partial a_1^4}$一项，对比(8)、(10)、(11)，其中均有$\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_1^3}$一项，公式(11)甚至可以化简。如果你把全部梯度写出，你就能发现更多的重复项。反向传播算法的强大之一就是避免了这些重复计算。

引入误差

这里我们引入误差这一概念，我们规定神经元的误差为(这里我们仍然忽略偏置和激活函数)：

$${\delta }_j^l=\frac{\partial C}{\partial a_j^l}\text{\hspace{1em}(13)}$$

可得：

$$\frac{\partial C}{\partial w_{j,k}^l}=\frac{\partial C}{\partial a_j^l}\frac{\partial a_j^l}{\partial w_{j,k}^l}={\delta }_j^l\frac{\partial a_j^l}{\partial w_{j,k}^l}\text{\hspace{1em}(14)}$$

即我们可以把对$\frac{\partial C}{\partial w_{j,k}^l}$的求解转化为对${\delta }_j^l$的求解。那我们该如何求出所有${\delta }_j^l$呢？我们先回到之前介绍的例子中。

首先，在神经网络中，根据$a_j^l={\sum }_k{w}_{j,k}^l\cdot a_k^{l-1}$可得：

$$\frac{\partial a_j^l}{\partial a_k^{l-1}}=w_{j,k}^l\text{\hspace{1em}(15)}$$

从公式（7）中可得：

$${\delta }_1^4=\frac{\partial C}{\partial a_1^4}\text{\hspace{1em}(16)}$$

从公式（8）中可得：

$${\delta }_1^3=\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_1^3}={\delta }_1^4\frac{\partial a_1^4}{\partial a_1^3}={\delta }_1^4{w}_{1,1}^4\text{\hspace{1em}(17)}$$

从公式（12）中可得：

$${\delta }_1^2=(\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_1^3})\frac{\partial a_1^3}{\partial a_1^2}+(\frac{\partial C}{\partial a_1^4}\frac{\partial a_1^4}{\partial a_2^3})\frac{\partial a_2^3}{\partial a_1^2}={\delta }_1^3\frac{\partial a_1^3}{\partial a_1^2}+{\delta }_2^3\frac{\partial a_2^3}{\partial a_1^2}={\delta }_1^3{w}_{1,1}^3+{\delta }_2^3{w}_{2,1}^3\text{\hspace{1em}(18)}$$

我们可以粗略的归纳总结为，第l层的${\delta }^l$都可以从第$l+1$层的${\delta }^{l+1}$求得。因此我们可以从最后一层开始，从后往前求得所有${\delta }_j^l$再最终求得$\frac{\partial C}{\partial w_{j,k}^l}$，这便是反向传播算法的大致求解过程。

矩阵表示

我们对公式（18）拓展为矩阵表示

$$\left[\begin{array}{c}{\delta }_1^2\\ {\delta }_2^2\end{array}\right]=\left[\begin{array}{cc}\frac{\partial a_1^3}{\partial a_1^2}& \frac{\partial a_2^3}{\partial a_1^2}\\ \frac{\partial a_1^3}{\partial a_2^2}& \frac{\partial a_2^3}{\partial a_2^2}\end{array}\right]\left[\begin{array}{c}{\delta }_1^3\\ {\delta }_2^3\end{array}\right]=\left[\begin{array}{cc}{w}_{1,1}^3& w_{2,1}^3\\ w_{1,2}^3& w_{2,2}^3\end{array}\right]\left[\begin{array}{c}{\delta }_1^3\\ {\delta }_2^3\end{array}\right]\text{\hspace{1em}(19)}$$

公式19中的2*2矩阵可以理解为向量$a^2$对向量$a^3$的一阶偏导，即雅可比矩阵的转置。因此只要计算每一层对应的雅可比矩阵（对于MLP来说，雅可比矩阵为每层的权重系数矩阵）。便可以使用矩阵快速计算每层误差${\delta }_j^l$。
公式19可简化为：

$${\delta }^2=(w^3{)}^T\cdot {\delta }^3\text{\hspace{1em}(20)}$$

反向传播算法介绍

这里我们加入偏置和激活函数，给出完整的反向传播算法（考虑偏置和激活函数，但未考虑正则项），该算法包括以下四个公式，摘自《Neural Networks and Deep Learning》:

$${\delta }^L={\nabla }_{a}C\odot {\sigma }^{\prime }(z^L)\text{\hspace{1em}(BP1)}$$

$${\delta }^l=((w^{l+1}{)}^T{\delta }^{l+1})\odot {\sigma }^{\prime }(z^l)\text{\hspace{1em}(BP2)}$$

$$\frac{\partial C}{\partial b_j^l}={\delta }_j^l\text{\hspace{1em}(BP3)}$$

$$\frac{\partial C}{\partial w_{j,k}^l}=a_k^{l-1}{\delta }_j^l\text{\hspace{1em}(BP4)}$$

BP1和BP2中涉及到向量的计算，其中$\odot$表示哈达玛积。${\nabla }_{a}C$表示输出$a$对损失$C$的梯度。${\sigma }^{\prime }$表示对激活函数求偏导。

反向传播算法的实现即首先计算BP1获得最后一层误差${\delta }^L$，接下来从后往前根据BP2依次求出各层的${\delta }^l$，最后根据公式BP3和BP4求出各层偏置和权重的梯度。

以下给出BP1和BP2两个公式的标量表示，便于理解：

$${\delta }_j^L=\frac{\partial C}{\partial a_j^L}\frac{\partial a_j^L}{\partial z_j^L}\text{\hspace{1em}(BP1-2)}$$

$${\delta }_j^l=\sum _q(w_{q,j}^{l+1}\times {\delta }_q^{l+1})\frac{\partial a_j^l}{\partial z_j^l}\text{\hspace{1em}(BP2-2)}$$

公式BP2-2中$q$表示$l+1$层的$q$个神经元。

总结

从链式法则到链式法则再到BP算法，可能这种理解方式如Michael Nielsen在《Neural Networks and Deep Learning》中所写是比较“无趣的”。但是翻阅网络上的资料，不是过于抽象就是过于简陋，相比之下，这种启发式的理解，往往更深刻。