15、基于隐藏部分的CNN图像分类器解释

基于隐藏部分的CNN图像分类器解释

1. 解释方法概述

为黑盒CNN模型构建解释有多种不同的方法，主要可分为以下几类：
- 基于反向传播的方法 ：通过研究信号如何反向传播来衡量每个像素对最终分类结果的重要性或影响。通常会进行梯度的反向传播，然后可视化其大小，较大的值表示初始图像中更重要的特征或像素。典型的方法有SmoothGrad、DeepLift、Integrated Gradients等。
- 基于激活的方法 ：使用卷积层激活的线性组合。例如Class Activation Mapping (CAM) 可以可视化图像中对特定分类重要的部分，还有其广义版本。

然而，上述两类方法都具有模型特定性，或者需要构建额外的支持模型。本文重点介绍基于扰动的方法，该方法无需利用信号反向传播或分析模型架构，就能找到与模型无关的局部解释。其核心思想是修改输入信号或图像（通常是隐藏其某些部分），然后研究这些变化如何影响分类结果。

常见的基于扰动的方法有LIME和SHAP。LIME通过构建一个可解释的模型，使用输入特征向量局部邻域中的点作为训练集，但存在需要选择有限数量的初始特征以及整体不稳定的问题。在LIME中还应用了超像素分析来解释图像各部分对分类结果的影响，但有效选择超像素及其组合的方法尚不明确。另外，一些方法如迭代替换图像片段并保留其平均颜色，计算成本较高。

还有其他一些相关方法，如Google的“What - If”工具采用反事实方法；用灰色方块遮挡输入图像部分来研究和可视化深度神经网络中间层的活动；生成随机遮挡掩码（RISE）来衡量每个像素在整体决策中的重要性等。不过，遮挡