16、卷积神经网络可视化归因方法解析

卷积神经网络可视化归因方法解析

在深度学习领域，卷积神经网络（CNN）在图像分类、目标检测和图像分割等视觉任务中表现出色。然而，CNN 如同一个黑盒，我们很难理解它是如何得出最终预测结果的。为了解决这个问题，可视化归因方法应运而生，这些方法可以帮助我们了解图像中哪些部分对 CNN 的预测产生了重要影响。

梯度饱和问题与解决方案

在使用梯度方法进行可视化归因时，普通反向传播（Vanilla backpropagation）和引导反向传播（Guided backpropagation）在处理具有饱和特性的模型时，会低估特征的重要性。例如，有一个简单的网络，其输出信号为 $y = 1 + max(0, 1 - (x_1 + x_2))$，当 $x_1 + x_2 > 1$ 时，输出信号 $y$ 饱和为 1，此时输出关于输入的梯度为 0，这两种方法就会低估两个输入特征的重要性。

为了克服饱和问题，提出了两种基于梯度的方法：
- 积分梯度（Integrated gradients） ：对于给定的输入图像，积分梯度会在输入像素从起始值（如全零）缩放至实际值的过程中对梯度进行积分。
- SmoothGrad ：通过向输入图像的副本添加逐像素高斯噪声，然后对通过普通反向传播获得的梯度进行平均。

Grad - CAM 方法详解

Grad - CAM 是一种基于激活的归因方法，由 R. R. Selvaraju 等人在 2017 年提出。它利用卷积层学习到的特征，通过计算输出相对于特征图中像素的梯度来确定特征图的重要性。由于关注的是 CNN 中最后一个卷积