19、像素归因方法：图像分类解释的探索

像素归因方法：图像分类解释的探索

1. 像素归因方法概述

像素归因方法旨在突出神经网络对特定图像分类时相关的像素。它有多种名称，如敏感度图、显著性图、像素归因图等，是特征归因在图像领域的特殊情况。特征归因通过根据每个输入特征对预测的影响（正向或负向）来解释单个预测，输入特征可以是像素、表格数据或单词。

像素归因方法可分为以下两类：
- 基于遮挡或扰动的方法 ：如 SHAP 和 LIME，通过操纵图像的部分来生成解释，是模型无关的。
- 基于梯度的方法 ：许多方法计算预测（或分类分数）相对于输入特征的梯度，不同方法主要在梯度计算方式上有所不同。

另一种有用的分类是基于基线问题：
- 仅梯度方法 ：如 Vanilla Gradient 和 Grad - CAM，告知像素变化是否会改变预测。正梯度表示改变该像素会使预测类概率上升，负梯度则相反，梯度绝对值越大，影响越强。
- 路径归因方法 ：将当前图像与参考图像（如完全灰色的“零”图像）进行比较，将实际和基线预测的差异分配到各个像素。一些路径归因方法是“完整的”，如 SHAP 和 Integrated Gradients。参考图像（分布）的选择对解释有很大影响。

2. 具体像素归因方法

2.1 Vanilla Gradient（显著性图）

如果了解反向传播，Vanilla Gradient 的思想很简单。它计算感兴趣类的损失函数相对于输入像素的梯度，得到一个包含正负值的输入特征大小