【机器学习笔记】神经网络反向传播算法 推导

（一） 概念及基本思想

误差反向传播算法简称反向传播算法（即BP算法）。使用反向传播算法的多层感知器又称为BP神经网络。BP算法是一个迭代算法。

它的基本思想为：
（1）先计算每一层的状态和激活值，直到最后一层（即信号是前向传播的）；
（2）计算每一层的误差，误差的计算过程是从最后一层向前推进的（这就是反向传播算法名字的由来）；
（3）更新参数（目标是误差变小）。
迭代前面两个步骤，直到满足停止准则（比如相邻两次迭代的误差的差别很小）。

首先进行记号的说明：

标记	含义
$n_l$	表示第$l$层神经元的个数
$f(\cdot )$	表示神经元的激活函数
$W^{(l)}$	表示第$l-1$层到第$l$层的权重矩阵
$w_{ij}^{(l)}$	是权重矩阵中的元素，表示第$l-1$层第$j$个神经元到第$l$层第$i$个神经元的连接的权重（注意标号的顺序）
$$\begin{gathered} b^{(l)}=(b_1^{(l)},b_2^{(l)},\cdots b_{n_l}^{(l)}{)}^T \\ \in {\mathbb{R}}^{n_l} \end{gathered}$$	表示$l-1$层到第$l$层的偏置单元
$$\begin{gathered} z^{(l)}=(z_1^{(l)},z_2^{(l)},\cdots z_{n_l}^{(l)}{)}^T \\ \in {\mathbb{R}}^{n_l} \end{gathered}$$	表示$l$层神经元的状态
$$\begin{gathered} a^{(l)}=(a_1^{(l)},a_2^{(l)},\cdots a_{n_l}^{(l)}{)}^T \\ \in {\mathbb{R}}^{n_l} \end{gathered}$$	表示$l$层神经元的激活值（即输出值）

下面以三层感知器(即只含有一个隐藏层的多层感知器)为例介绍反向传播算法(BP 算法)。

（二）信息的前向传播

根据图一的神经网络图，第2层神经元的状态及激活值可以通过下面的方法计算得到：
$$z_1^{(2)}=w_{11}^{(2)}{x}_1+w_{12}^{(2)}{x}_2+w_{13}^{(2)}{x}_3+b_1^{(2)}$$ $$z_2^{(2)}=w_{21}^{(2)}{x}_1+w_{22}^{(2)}{x}_2+w_{23}^{(2)}{x}_3+b_2^{(2)}$$ $$z_3^{(2)}=w_{31}^{(2)}{x}_1+w_{32}^{(2)}{x}_2+w_{33}^{(2)}{x}_3+b_3^{(2)}$$ $$a_1^{(2)}=f(z_1^{(2)})$$ $$a_2^{(2)}=f(z_2^{(2)})$$ $$a_3^{(2)}=f(z_3^{(2)})$$ 类似地，第3层神经元的状态及激活值可以通过下面的计算得到：
$$z_1^{(3)}=w_{11}^{(3)}{a}_1^{(2)}+w_{12}^{(3)}{a}_2^{(2)}+w_{13}^{(3)}{a}_3^{(2)}+b_1^{(3)}$$ $$z_2^{(3)}=w_{21}^{(3)}{a}_1^{(2)}+w_{22}^{(3)}{a}_2^{(2)}+w_{23}^{(3)}{a}_3^{(2)}+b_2^{(3)}$$ $$a_1^{(3)}=f(z_1^{(3)})$$ $$a_2^{(3)}=f(z_2^{(3)})$$ 可总结出，第$l(2\le l\le L)$层神经元的状态及激活值为（下面是向量表示形式）：$$z^{(l)}=W^{(l)}{a}^{(l-1)}+b^{(l)}$$ $$a^{(l)}=f(z^{(l)})$$ 对于L层感知器，网络的最终输出为$a^{(L)}$，前馈神经网络信息的前向传递过程如下：$$\mathbf{x}={\mathbf{a}}^{(1)}\to {\mathbf{z}}^{(2)}\to \cdots \to {\mathbf{a}}^{(\mathbf{L}-1)}\to {\mathbf{z}}^{(\mathbf{L})}\to {\mathbf{a}}^{(\mathbf{L})}=\mathbf{y}$$

（三）误差反向传播

信息前向传播指的是已知各个神经元的参数后，得到神经网络的输出。但是怎么得到各个神经元的参数呢？ 误差反向传播算法解决的就是这个问题。

---

假设训练数据为$\left\{({\mathbf{x}}^{(1)},{\mathbf{y}}^{(1)}),({\mathbf{x}}^{(2)},{\mathbf{y}}^{(2)}),\cdots ,({\mathbf{x}}^{(\mathbf{i})},{\mathbf{y}}^{(\mathbf{i})}),\cdots ,({\mathbf{x}}^{(\mathbf{N})},{\mathbf{y}}^{(\mathbf{N})})\right\}$，共有$N$个。又假设输出数据为$n_L$ 维的，即${\mathbf{y}}^{(\mathbf{i})}=({\mathbf{y}}_1^{(\mathbf{i})},\cdots ,{\mathbf{y}}_{{\mathbf{n}}_{\mathbf{L}}}^{(\mathbf{i})}{)}^{\mathbf{T}}$。

对某个训练数据$(x^{(i)},y^{(i)})$来说，其代价函数可写为：$$E^{(i)}=\frac{1}{2}\Vert y^{(i)}-o^{(i)}\Vert =\frac{1}{2}\sum _{k=1}^{n_L}(y_k^{(i)}-o_k^{(i)}{)}^2$$

说明：

1. $y^{(i)}$指的是期望的输出（是训练数据给出的已知值），$o^{(i)}$是神经网络对输入$x^{(i)}$ 产生的实际输出；
2. 代价函数中系数1/2不是必须的，它的存在仅仅为了后续计算时更加方便；
3. 代价函数$E^{(i)}$仅和权重矩阵$W^{(l)}$和偏置向量$b^{(l)}$相关，调整权重和偏置可以减少或增大代价（误差）。

显然，所有训练数据的总体（平均）代价可写为：$$E_{total}=\frac{1}{N}\sum _{i=1}^N{E}_{(i)}$$ 目标就是调整权重和偏置使得总体代价（误差）变小，求得总体代价取最小值时对应的各个神经元的参数（即权重和偏置）。

如果采用梯度下降法（或者称为“批量梯度下降法”），可以用下面公式更新参数$w_{ij}^{(l)},b_i^{(l)},2\le l\le L$：$$W^{(l)}=W^{(l)}-\mu \frac{\partial E_{total}}{\partial W^{(l)}}=W^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E_{(i)}}{\partial W^{(l)}}$$ $$b^{(l)}=b^{(l)}-\mu \frac{\partial E_{total}}{\partial b^{(l)}}=b^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E_{(i)}}{\partial b^{(l)}}$$ 由上面的公式可知，只需求得每一个训练数据的代价函数$E_{(i)}$对参数的偏导数 $\frac{\partial E_{(i)}}{\partial W^{(l)}},\frac{\partial E_{(i)}}{\partial b^{(l)}}$ 即可得到参数的迭代更新公式。

为了简单起见，在下面的推导中，去掉下标，直接记为$E$（它是单个训练数据的误差）。

下面将求解一种简单的情况：图一所示的神经网络，最后再归纳出通用公式。

（1）输出层的权重参数更新

把$E$展开到隐藏层，有：

由求导的链式法则，对“输出层神经元的权重参数”求偏导，有：

如果我们把$\frac{\partial E}{\partial z_i^{(l)}}$记为${\delta }_i^{(l)}$，即：

则可以将$\frac{\partial E}{\partial w_{11}^{(3)}}$写为：

对于输出层神经元的其他权重参数，同样可以求得：

说明：
引入${\delta }_i^{(l)}$，不仅能够简化求偏导的表达式；还可以通过${\delta }_i^{(l+1)}$来求解${\delta }_i^{(l)}$（后面会说明），这样可以充分利用之前计算过的解雇哦来加快整个计算过程。

推广到一般情况，假设神经网络共$L$层，有：

如果把上面的两个表达式为矩阵（向量）的形式，则有：

说明：
符号$\odot$表示Element-wise Product Operator。把对应位置的元素分别相乘即可。即：

向量式子${\delta }^{(L)}=-(y-a^{(L)})\odot f^{{}^{\prime }}(z^{(L)})$ 在之前的例子中，表达的就是下面两个式子：

（2）隐藏层的权重参数更新

对“隐藏层神经元的权重参数”求偏导，利用${\delta }_i^{(l)}$的定义，有：

其中，${\delta }_i^{(l)},2\le l\le L-1$的推导如下：

上面的式子为什么有$\frac{\partial E}{\partial z_i^{(l)}}={\sum }_{j=1}^{n_{l+1}}\frac{\partial E}{\partial z_j^{(l+1)}}\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}$呢？

这里利用的是“函数之和的求导法则”和“求导的链式法则”。
如果把$E$从后往前展开，当展开到$l+1$层时，$E$可看作是$z^{(l+1)}$的函数；如果再往前展开一层到$l$层，$E$可看作是$z^{(l)}$的函数。$E$对$l$层的某个$z_i^{(l)}$求导时，由于$l+1$层的每个神经元都和$z_i^{(l)}$所在神经元有连接，所以在函数$E$中，自变量$z_i^{(l)}$出现了$n_{l+1}$次，出现的每一次对应一个$z_j^{(l+1)},1\le j\le n_{l+1}$，从而由“函数之和的求导法则”及“求导的链式法则”有：

推导过程示意图：

下面看一个简单例子，在图一所示的神经网络中，有：$$\frac{\partial E}{\partial z_1^{(2)}}=\sum _{j=1}^2\frac{\partial E}{\partial z_j^{(3)}}\frac{\partial z_j^{(3)}}{\partial z_1^{(2)}}$$

由于$z_j^{(l+1)}={\sum }_{i=1}^{n_l}{w}_{ji}^{(l+1)}{a}_i^l+b_j^{(l+1)}={\sum }_{i=1}^{n_l}{w}_{ji}^{(l+1)}f(z_i^{(l)})+b_j^{(l+1)}$，
所以有：$$\frac{\partial z_j^{(l+1)}}{\partial z_i^{(l)}}=\frac{\partial z_j^{(l+1)}}{\partial a_i^{(l)}}\frac{\partial a_i^{(l)}}{\partial z_i^{(l)}}=w_{ji}^{(l+1)}{f}^{{}^{\prime }}(z_i^{(l)})$$ 把该式带入到前面计算的${\delta }_i^{(l)}$中，有：

上面的公式是BP算法最核心的公式。它利用$l+1$层的${\delta }^{(l+1)}$来计算$l$层的${\delta }^{(l)}$，这就是“误差反向传播算法”。

若要表达为矩阵（向量）的形式，有：

（3）输出层与隐藏层的偏置参数更新

计算公式如下所示：

若要表示为矩阵（向量）的形式，有：
$${▽}_{b^{(l)}}E={\delta }^{(l)}$$

（4）反向传播算法的4个核心公式

写成对应的矩阵（向量）的形式：

或者表示为：

（5）BP算法计算：某个训练数据的代价函数对参数的偏导数

（6）总结：用“梯度下降”算法更新参数

1. 用BP算法4个核心公式求得每一个训练数据的代价函数对参数的偏导数
2. 按照下面的公式更新参数：$$W^{(l)}=W^{(l)}-\mu \frac{\partial E_{total}}{\partial W^{(l)}}=W^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E_{(i)}}{\partial W^{(l)}}$$ $$b^{(l)}=b^{(l)}-\mu \frac{\partial E_{total}}{\partial b^{(l)}}=b^{(l)}-\frac{\mu }{N}\sum _{i=1}^N\frac{\partial E_{(i)}}{\partial b^{(l)}}$$
3. 迭代执行第1步和第2步，直到满足停止准则（比如：相邻两次迭代的误差的差别很小，或者直接限制迭代的次数）。

说明：每对参数进行一次更新都要遍历整个训练数据集，当训练数据集不大时这不是问题，但当训练数据集非常大时，可以采用随机梯度下降法（即每次仅使用一个训练数据来更新参数）。