10、卷积神经网络：原理、架构与设计

卷积神经网络：原理、架构与设计

1. 卷积层的反向传播

在训练卷积层时，需要计算卷积层相对于其参数和输入的梯度。为简化问题，先研究一维卷积层的反向传播。

1.1 计算损失函数相对于卷积滤波器的梯度

假设已知计算图中损失函数相对于 $H_2$ 中计算节点的梯度，用 $\delta_i$ 表示。根据反向传播算法，损失函数相对于每个权重 $w_i$ 的梯度为：
$$
\frac{\delta L}{\delta w_i}=\frac{\delta H_2^0}{\delta w_i}\frac{\delta L}{\delta H_2^0}+\frac{\delta H_2^1}{\delta w_i}\frac{\delta L}{\delta H_2^1}+\frac{\delta H_2^2}{\delta w_i}\frac{\delta L}{\delta H_2^2}+\frac{\delta H_2^3}{\delta w_i}\frac{\delta L}{\delta H_2^3}=\frac{\delta H_2^0}{\delta w_i}\delta_0+\frac{\delta H_2^1}{\delta w_i}\delta_1+\frac{\delta H_2^2}{\delta w_i}\delta_2+\frac{\delta H_2^3}{\delta w_i}\delta_3
$$
对于每个 $w_i$ 计算上述方程可得：
$$
\frac{\delta L}{\delta w_0}=h_0\delta_0 + h_1\delta_1 + h_2\delta_2 + h_3\delta