卷积神经网络的梯度求解

在一些对神经网络可解释性的研究中，总是会利用到损失函数对最后一层特征图进行求梯度的操作，例如著名的Grad CAM，因此对于卷积神经网络的理解不能仅仅停留在调包的阶段，我们需要拆解开它求梯度的黑盒。

如图所示，假设有一个特征图$A$, 经过一个$2\times 2$的卷积核$K$操作之后，得到一个新的特征图$O$,再将其展平后经过$MLP$得到一个长度为2的输出向量$Y$。
如果想要知道特征图$A$的每个元素对最终输出的贡献大小，就需要计算出$Y$对$A$中每个元素的偏导，即$\frac{\partial Y}{\partial A}$。
我们整理一下从特征图$A$得到输出$Y$的过程，可以写为：
$$O=CONV(A)$$
$$Y=MLP(O)$$
因此根据链式求导法则，$\frac{\partial Y}{\partial A}=\frac{\partial Y}{\partial O}\frac{\partial O}{\partial A}$。
以输出$Y_1=68$为例，$Y_1=0\ast O_{11}+1\ast O_{12}+0\ast O_{21}+1\ast O_{22}$, 因此