对《深度学习入门》第五章中Affine层反向传播计算公式的一种解释

爱做白日梦的悲观主义者

已于 2022-03-27 11:26:00 修改

阅读量1.3k

点赞数 21

文章标签：深度学习

于 2021-08-14 08:55:58 首次发布

本文链接：https://blog.youkuaiyun.com/pianchengxiaobai/article/details/119649853

版权

本文详细解释了深度学习中反向传播的过程，通过绘制计算图和排列反向传播结果，展示了如何对矩阵进行求导。重点讨论了如何处理含有多个输入的节点，介绍了链式法则的应用，并通过实例推导出梯度矩阵的计算方法。同时，纠正了之前解释中的错误，确保了计算的严谨性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

方法概述

将矩阵乘法理解为相应标量元素乘法和加法运算，再将得到的结果进行排列。
所以使用标量（矩阵中的元素）作为节点的输入输出，对计算图得到的反向传播结果进行排列，由此得到反向传播结果的矩阵，观察矩阵的形式，得到需要推导的公式。

解释开始

沿用了书中的例子，以下过程不能算作证明，只是对书中公式的一种解释。
${\bf{Y=X\cdot W+B}}$
$\begin{bmatrix} y_1 & y_2 & y_3 \\ \end{bmatrix}= \begin{bmatrix} x_1 & x_2 \\ \end{bmatrix} \begin{bmatrix} w_{11} & w_{12} & w_{13} \\ w_{21} & w_{22} & w_{23} \\ \end{bmatrix}+ \begin{bmatrix} b_1 & b_2 & b_3 \\ \end{bmatrix}$
$\begin{cases} y_1=x_1w_{11}+x_2w_{21}+b_1 \\ y_2=x_1w_{12}+x_2w_{22}+b_2 \\ y_3=x_1w_{13}+x_2w_{23}+b_3 \end{cases}$

1.绘制计算图

根据第一个等式可以画出以下计算图（令反向传播的输入为 $z_1$ ，即 $\frac{\partial L}{\partial y_1}=z_1$ ，并不假设为1，为了最后由矩阵得出公式更加方便）：
在这里插入图片描述

图1 计算图局部

{\color{red}\frac{\partial L}{\partial w_{11}}=x_1z_1,\frac{\partial L}{\partial w_{21}}=x_2z_1}

将三个等式的计算图一起画出(红色标出的是反向传播的结果)，

\frac{\partial L}{\partial {\bf{Y}}}={\bf{Z}}=\begin{bmatrix} z_1 & z_2 & z_3 \\ \end{bmatrix}

：

图2 完整计算图

同理，也可以得到\frac{\partial L}{\partial w_{12}},\frac{\partial L}{\partial w_{13}},\frac{\partial L}{\partial w_{22}},\frac{\partial L}{\partial w_{23}}

2.排列反向传播结果

$\large \begin{aligned} \frac{\partial L}{\partial \bf{W}} & =\begin{bmatrix} \frac{\partial L}{\partial w_{11}} & \frac{\partial L}{\partial w_{12}} & \frac{\partial L}{\partial w_{13}} \\ \frac{\partial L}{\partial w_{21}} & \frac{\partial L}{\partial w_{22}} & \frac{\partial L}{\partial w_{23}} \\ \end{bmatrix} \\ & = \begin{bmatrix} x_1z_1 & x_1z_2 & x_1z_3 \\ x_2z_1 & x_2z_2 & x_2z_3 \\ \end{bmatrix} \\ & = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix} \begin{bmatrix} z_1 & z_2 & z_3 \\ \end{bmatrix} \\ & = {\bf{X}}^T \cdot \frac{\partial L}{\partial {\bf{Y}}} \end{aligned}$
$\frac{\partial L}{\partial \bf{W}}$ 表示标量 $L$ 对矩阵 ${\bf W}$ 求导
这样就得到了其中一个公式。这部分主要是将结果进行排列，只要认真看书，理解图中的反向传播计算不成问题。

3.新知识引入

$\frac{\partial L}{\partial {\bf{X}}} = \begin{bmatrix} \frac{\partial L}{\partial x_1} & \frac{\partial L}{\partial x_2} \end{bmatrix}$
再使用图2就出现问题了，图2中元素 $x$ 反向传播得到的数据是六个，而标量 $L$ 对矩阵 ${\bf X}$ 求导得到的矩阵只有两个元素，导致不知道如何排列。其实是计算图画的不合适，权重 $w$ 的六个输入数据来自矩阵 ${\bf{W}}$ 的六个元素，但 $x$ 的六个输入数据只是来自矩阵 ${\bf{X}}$ 的两个元素。更合适的计算图如下图所示：
在这里插入图片描述

图3 完整计算图（更正后）

如何计算空白节点的反向传播，这涉及到一个新的知识点，作者在书的附录A中计算Softmax层的反向传播时有提到（主要观察下图中’ ${\bf/}$ '结点的反向传播即可）。
在这里插入图片描述

图4 Softmax层计算图

正向传播时若有分支流出，则反向传播时它们的反向传播的值会相加。
因此，这里分成了三支的反向传播的值 $t_1 S, −t_2 S, −t_3 S)$ 会被求和。然后，还要对这个相加后的值进行“/”节点的反向传播，结果为 $\frac{1}{S}(t_1+t_2+t_3)$ 。

同理，图3中空白节点也有分支流出，反向传播时也应该将分支流入的值相加，就可以得到：
$\begin{aligned} {\color{red}\frac{\partial L}{\partial x_1}=w_{11}z_1+w_{12}z_2+ w_{13}z_3} \\ {\color{red} \frac{\partial L}{\partial x_2} = w_{21}z_1 + w_{22}z_2 + w_{23}z_3} \end{aligned}$
然后再进行排列：
$\large \begin{aligned} \frac{\partial L}{\partial {\bf{X}}} & = \begin{bmatrix} \frac{\partial L}{\partial x_1} & \frac{\partial L}{\partial x_2} \end{bmatrix} \\ & = \begin{bmatrix} w_{11}z_1+w_{12}z_2+w_{13}z_3 & w_{21}z_1+w_{22}z_2+w_{23}z_3 \end{bmatrix} \\ & = \begin{bmatrix} z_1 & z_2 & z_3 \\ \end{bmatrix} \begin{bmatrix} w_{11} & w_{21} \\ w_{12} & w_{22} \\ w_{13} & w_{23} \\ \end{bmatrix} \\ & = \frac{\partial L}{\partial {\bf{Y}}} \cdot {\bf{W}}^T \end{aligned}$