卷积层的反向传播

符号规定

$z^l$：第$l$层卷积后，激活前的结果
$a^l$：第$l$层激活后的结果,一般情况下，也是第$l+1$层的输入
卷积层前向传播的公式为：
$$a^l=\sigma (z^l)=\sigma (a^{l-1}\ast W^l+b^l)$$
${\delta }^l$：反向传播时，传递到第$l$层的误差
$\partial J(W,b)$：损失函数

已知卷积层的${\delta }^l$，推导上一隐藏层的${\delta }^{l-1}$

第$l$层的误差可以理解为误差对第$l$层的输出求偏导，第$l$层的误差和第$l-1$层的误差的递推关系为：
$${\delta }^l=\frac{\partial J(W,b)}{\partial z^l}=\frac{\partial J(W,b)}{\partial z^{l+1}}\frac{\partial z^{l+1}}{\partial z^l}={\delta }^{l+1}\frac{\partial z^{l+1}}{\partial z^l}$$

因此要导出${\delta }^{l-1}$和${\delta }^l$的关系，必须要计算$\frac{\partial z^l}{\partial z^{l-1}}$的梯度表达式。
注意到$z^l$ 和 $z^{l-1}$的关系为：
$$z^l=a^{l-1}\ast W^l+b^l=\sigma (z^{l-1})\ast W^l+b^l$$
若直接进行参数推演过于复杂，取一个简单的例子：
假设第$l-1$层的输出$a^{l-1}$是一个3X3矩阵，第$l$层的卷积核$W^l$是一个2X2的矩阵，采用1像素的步幅，则输出是一个2X2的矩阵，我们简化偏置$b^l$为0，则有：
$$a^{l-1}\ast W^l=z^l$$
列出a,W,z的矩阵表达式：
$$(\begin{array}{c}{a}_{11}\\ a_{21}\\ a_{31}\end{array}$$