动手学深度学习笔记---4.4 前向传播、反向传播与计算图

在之前对多层感知机的实现过程中，只考虑了感知机在进行前向传播时所进行的计算，对于涉及梯度计算的反向传播并未进行过多赘述，仅调用深度学习框架所提供的反向传播函数进行自动梯度计算。因此在本节内容中，针对深度学习模型在训练时的前向传播以及反向传播过程进行了介绍。

一、前向传播

前向传播过程主要是指按输入层 -> 隐藏层 -> 输出层顺序传递数值进行计算并存储结果的过程。

以上述图中多层感知机结构为例：

从输入层到隐藏层的计算为：

$$\begin{gathered} z_i=w_{1}x+b_1 \\ {h}_i=ReLU(z) \end{gathered}$$

从隐藏层到输出层的计算为：

$o_i={\hat{y}}_i=w_2{h}_i+b_2$

通过该过程，神经网络可以得到一个输出值$\hat{y}$，用于计算与训练集中真实值$y$的误差，该误差会在反向传播过程中用到，来实现对参数$[w,b]$的修正，输出预测值与真实值的误差损失可用$L$表示：

$l=l_{loss\_function}(\hat{y},y)$

同时根据之前学到的$L2$正则定义，对于参数$[w_1,b_1],[w_2,b_2]$,将其视作拓展后的矩阵$W_1^{\prime },W_2^{\prime }$，存在给定超参数$\lambda$，使得正则化项为：

$s=\frac{\lambda }{2}(||W_1^{\prime }|{|}^2+||W_2^{\prime }|{|}^2)$

综合损失项和正则化项后，施加在模型上的最终损失为：

$L_{loss}=l+s$

这个从输入层到输出层的计算过程，就是多层感知机的前向传播过程。绘制前向传播的计算图，可以有助于对计算中操作符和变量关系的可视化，多层感知机的计算图可用下图表示：

二、反向传播

如果说前向传播是从输入层到输出层的过程，那顾名思义，反向传播就是从输出层反向向输入层传递计算值的过程，该方法根据微积分中的链式规则，按相反的顺序从输出层到输入层遍历网络。本质上，反向传播是一种求梯度的高效方法，可以理解为模型的 “学习” 过程。


前面在前向传播中提到，前向传播中产生的误差损失会在反向传播中使用。具体如下：

1. 针对损失项和正则项分别计算损失函数$L=l+s$的梯度

   $\frac{\partial L}{\partial l}=1,\frac{\partial L}{\partial s}=1$

2. 根据链式法则，计算目标函数关于输出变量$\hat{y}$的梯度，以及关于权重参数$W_2^{\prime }$的梯度

   $\frac{\partial L}{\partial \hat{y}}=\frac{\partial L}{\partial l}\frac{\partial l}{\partial \hat{y}}=\frac{\partial l}{\partial \hat{y}}$
   $\frac{\partial \hat{y}}{\partial W_2^{\prime }}=h\frac{\partial s}{\partial W_2^{\prime }}=\lambda W_2^{\prime }$
   $\frac{\partial L}{\partial W_2^{\prime }}=\frac{\partial L}{\partial l}\frac{\partial l}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial W_2^{\prime }}+\frac{\partial L}{\partial s}\frac{\partial s}{\partial W_2^{\prime }}=\frac{\partial l}{\partial \hat{y}}\cdot h+\lambda W_2^{\prime }$

3. 继续沿梯度图向输入层方向移动，获得关于$W_1^{\prime }$的梯度

   $\frac{\partial L}{\partial h}=\frac{\partial L}{\partial l}\frac{\partial l}{\partial \hat{y}}\frac{\partial \hat{y}}{\partial h}=\frac{\partial l}{\partial \hat{y}}\cdot W_2^{\prime }$
   $\frac{\partial s}{\partial W_1^{\prime }}=\lambda W_1^{\prime }$
   
   由于激活函数ReLU在计算时按元素对应进行计算，因此计算中间变量$z$时使用元素乘法$\odot$
   
   $\frac{\partial L}{\partial z}=\frac{\partial L}{\partial h}\frac{\partial h}{\partial z}=\frac{\partial L}{\partial h}\odot {\phi }^{\prime }(z)$
   
   最终得到关于$W_1^{\prime }$的梯度：
   
   $\frac{\partial L}{\partial W_1^{\prime }}=\frac{\partial L}{\partial z}\frac{\partial z}{\partial W_1^{\prime }}+\frac{\partial L}{\partial s}\frac{\partial s}{\partial W_1^{\prime }}=\frac{\partial L}{\partial z}\cdot x+\lambda W_1^{\prime }$

4. 根据得到的梯度值对$[W_1^{\prime },W_2^{\prime }]$进行更新，得到最新的权重矩阵$\widehat{W^{\prime }}$

   $\widehat{W^{\prime }}=W^{\prime }-\eta \frac{\partial L}{\partial W^{\prime }}$

总结： 归根到底，正向传播与反向传播是一个学习参数，计算误差，然后求导对参数更新的过程。可以理解为一次作业的完成过程：写作业（前向传播）-> 老师审阅（计算误差）-> 打回修改（反向传播） -> 完成作业（训练完成）