反向传播（BP）算法到底传播了个啥？

反向传播算法 BackPropagation ，简称BP算法。常用于训练多层神经网络，那么它到底传播了个啥？又是怎么传播的呢？

我们知道，对于一个机器学习算法，其最终预测出的值与实际值一般会存在差异，那么我们定义这个差异为误差E。算法中有若干参数需要学习，那么怎么学习呢？以什么策略去变化参数，使得预测值更接近真实值呢？

这就是采用BP算法的初衷，我们知道预测值是由所有参数与相连的输入运算后得到的，也就是说预测值与真实值之间的误差E其实是与每个参数相关的，可以认为误差是由每个参数造成的，因此我们试图将误差进行反向传播，计算每个参数引起的误差大小，以此为依据来更新参数，使得重新进行前向传播计算出的预测值越来越接近真实值，由此起到训练的作用。

从西瓜书中摘取示例网络的图片来计算BP的过程：

注：该图示中输入层在最下面，输出层在最上面。我们可能更习惯输入层在左侧，输出层在右侧。如下图所示。

给定以上含一层隐层的神经网络，有 𝑑 个输入神经元、𝑞 个隐层神经元、𝑙个输出神经元。
给定：
训练集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , x i ∈ R d , y i ∈ R l D=\left \{ (x_{1},y_{1}),(x_{2},y_{2}),..., (x_{m},y_{m})\right \},x_{i}\in \mathbb{R}^{d},y_{i}\in \mathbb{R}^{l} D={(x1​,y1​),(x2​,y2​),...,(xm​,ym​)},xi​∈Rd,yi​∈Rl，即输入由 𝑑 个属性描述（𝑑 个𝑥），输出 𝑙 维实值向量（𝑙个𝑦）。
其中：
输出层第 𝑗 个神经元的阈值（偏置）用${\theta }_j$表示，
隐层第 ℎ 个神经元的阈值用${\gamma }_h$ 表示。
输入层第 𝑖 个神经元与隐层第 ℎ 个神经元之间的连接权重为$v_{ih}$，
隐层第 ℎ 个神经元与输出层第 𝑗 个神经元之间的连接权重为$w_{ih}$。
记隐层第 ℎ 个神经元接收到的输入为${\alpha }_h={\sum }_{i=1}^d{v}_{ih}{x}_i$，
输出层第 𝑗 个神经元接收到的输入为${\beta }_j={\sum }_{h=1}^q{w}_{hj}{b}_h$，
其中$b_h$为隐层第 ℎ 个神经元的输出，即$b_h=f\left({\alpha }_h-{\gamma }_h\right)$。
假设隐层和输出层的激活函数为Sigmoid函数（注：Sigmoid函数求导特性良好，见公式6）。

对训练集$(x_k,y_k)$，假定神经网络的输出为$${\hat{y}}_k=\left({\hat{y}}_1^k,{\hat{y}}_2^k,...,{\hat{y}}_l^k\right)$$
即：
$${\hat{y}}_l^k=f\left({\beta }_j-{\theta }_j\right)\text{\hspace{1em}(1)}$$
则网络在$(x_k,y_k)$上的均方误差为$$E_k=\frac{1}{2}\sum _{j=1}^l{\left({\hat{y}}_j^k-y_j^k\right)}^2\text{\hspace{1em}(2)}$$
（注：加$\frac{1}{2}$是为了约掉平方求导得到的2。）

网络中需要更新的参数个数为$\left(d+l+1\right)q+l$个：输入层到隐层的$d\times q$个权值、隐层到输出层的$q\times l$个权值、 𝑞 个隐层神经元的阈值， 𝑙 个输出层神经元的阈值。

BP是一个迭代学习算法，在迭代的每一轮中，采用广义的感知机学习规则对参数进行更新估计。

对任意参数 𝑣 的更新公式为 $v\leftarrow v+\Delta v$，

BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整，对式子（2）的 $E_k$，给定学习率 𝜂 ，有

$$\Delta w_{hj}=-\eta \frac{\partial E_k}{\partial w_{hj}}\text{\hspace{1em}(3)}$$

注意到， $w_{hj}$先影响到第 𝑗 个输出层神经元的输入值 ${\beta }_j$，再影响到其输出值 ${\hat{y}}_j^k$，然后影响到 $E_k$，有

$$\frac{\partial E_k}{\partial w_{hj}}=\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial w_{hj}}\text{\hspace{1em}(4)}$$

根据 ${\beta }_j$定义，有：

$$b_h=\frac{\partial {\beta }_j}{\partial w_{hj}}\text{\hspace{1em}(5)}$$

Sigmoid函数的导数为：

$$f^{\prime }\left(x\right)=f\left(x\right)\left(1-f\left(x\right)\right)\text{\hspace{1em}(6)}$$

于是根据式子（1）和（2），取出式（4）中的前两项并取负后设为$g_j$（注：此处设为$g_j$是为了后面继续往前一层求导时复用此结果值，见式12第三行），有

$$\begin{array}{rl}{g}_j& =-\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\\ & =-\left({\hat{y}}_j^k-y_j^k\right)\cdot f^{\prime }\left({\beta }_j-{\theta }_j\right)\\ & =\left(y_j^k-{\hat{y}}_j^k\right)\cdot {\hat{y}}_j^k\left(1-{\hat{y}}_j^k\right)\\ & ={\hat{y}}_j^k\left(1-{\hat{y}}_j^k\right)\left(y_j^k-{\hat{y}}_j^k\right)\end{array}\text{\hspace{1em}(7)}$$
将式（5）、（7）代入式子（4），再代入式（3）得到BP算法中关于$w_{hj}$的更新公式：

$$\Delta w_{hj}=\eta g_j{b}_h\text{\hspace{1em}(8)}$$

根据${\hat{y}}_l^k=f\left({\beta }_j-{\theta }_j\right)$可以看出偏置${\theta }_j$更新公式的计算方法与$w_{hj}$类似，只需要特别注意相比$\Delta w_{hj}$的式子（8）少了$b_h$而多了一个负号（$f({\beta }_j-{\theta }_j)$中的$-{\theta }_j$），即：
$$\Delta {\theta }_j=-\eta g_j\text{\hspace{1em}(9)}$$
又有：
$$\Delta v_{ih}=-\eta \frac{\partial E_k}{\partial v_{ih}}\text{\hspace{1em}(10)}$$
其中：
$$\begin{array}{rl}\frac{\partial E_k}{\partial v_{ih}}& =\sum _{j=1}^l(\frac{\partial E_k}{\partial {\hat{y}}_j^k}\cdot \frac{\partial {\hat{y}}_j^k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h})\cdot \frac{\partial b_h}{\partial {\alpha }_h}\cdot \frac{\partial {\alpha }_h}{\partial v_{ih}}\\ & =\sum _{j=1}^l(\frac{\partial E_k}{\partial {\beta }_j}\cdot \frac{\partial {\beta }_j}{\partial b_h})\cdot \frac{\partial b_h}{\partial {\alpha }_h}\cdot \frac{\partial {\alpha }_h}{\partial v_{ih}}\\ & =\sum _{j=1}^l(-g_j\cdot w_{hj})\cdot f^{\prime }\left({\alpha }_h-{\gamma }_h\right)\cdot \frac{\partial {\alpha }_h}{\partial v_{ih}}\\ & =-\sum _{j=1}^l(w_{hj}{g}_j)\cdot b_h\left(1-b_h\right)\cdot x_i\end{array}\text{\hspace{1em}(11)}$$

注：${\sum }_{j=1}^l$是因为输出层的各个元素都与$b_h$相连，需要综合影响。这也是式子（7）中设$g_j$的原因，保存中间值，加速上一层的计算，避免重复计算。另外，$\frac{\partial b_h}{\partial {\alpha }_h}=f^{\prime }\left({\alpha }_h-{\gamma }_h\right)=b_h\left(1-b_h\right)$

将式子（11）中的部分值抽出来设为：
$$\begin{array}{r}{e}_h=b_h\left(1-b_h\right)\sum _{j=1}^l{w}_{hj}{g}_j\end{array}\text{\hspace{1em}(12)}$$
则得到$\Delta v_{ih}$：
$$\Delta v_{ih}=\eta e_h{x}_i\text{\hspace{1em}(13)}$$
同理得到，
$$\Delta {\gamma }_h=-\eta e_h\text{\hspace{1em}(14)}$$

注：需要特别注意的就是运算过程中的符号，是否需要$\sum$，中间结果的保存。

对于每一个训练样本，BP算法执行的步骤为：先将输入样本提供给输入层神经元，然后逐层将信号前传，指导产生输出层的结果；然后计算出输出层的误差，再将误差逆向传播到隐层神经元，最后根据隐层神经元的误差来对连接权重和阈值（偏量）进行调整。该过程为循环进行，直到满足某一过程为止。

如果直接能推理懂西瓜书中的内容，那就最好了。不过由于这个官方配图其实不太符合习惯而且没有标明偏置，所以我自己重新画了一遍并将原推理过程中省略的部分加上了，避免过程跳跃太快带来疑惑。

参考：
[1] 周志华, 机器学习, 北京: 清华大学出版社, 2016年1月.