论文：Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization 阅读笔记

一、论文

(16)Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization

https://arxiv.org/abs/1610.02391

code: https://github.com/ramprs/grad-cam/

pytorch :https://github.com/jacobgil/pytorch-grad-cam

二、论文笔记

1、背景

（1）、目前的模型可解释性太差，所以我们需要建立一个'透明'的模型。可以解释why they predict what they

predict。

（2）、 CAM（上一篇）需要使用到GLobal average pooling，如果原model用的是FC，要对model进行修改，有局限性。

https://arxiv.org/abs/1512.04150

 

2、创新

 

（1）、我们提出了GRAD-CAM，一种类区分定位技术，它可以从任何基于CNN的网络中生成直观的解释，而不需要架构更改或重新培训。

计算步骤：

a)、

对于分类任务，最后一层fature maps的层数是k（k是的总的类别），然后对每一个的feature map 中的每一个激活值求导，然后全局平局池化，这样每一个feature map 会得到一个分数

b)、

然后用这个分数 乘以对应的feature map ，然后把这k个feature map加在一起，然后针对每一个位置的激活值使用ReLU函数 

（2）、GRAD-CAM具有类别区分力以及定位图像相关区域的能力，但是，他们缺乏表现出细粒度重要性的能力

因此作者把双线性插值恢复到原图大小，然后与Guided Backpropagation 逐像素相乘进行融合.这样得到的效果就是both high-resolution (when the class of interest is ‘tiger cat’, it identififies important ‘tiger cat’ features like stripes, pointy ears and eyes) and class-discriminative (it shows the ‘tiger cat’ but not the ‘boxer (dog)’)

这个方法称为 Guided Grad-CAM

 

3、细节

（1）、Guided Backpropagation

guided-反向传播：和普通的反向传播不一样，不同的是，之前前向传播的时候>0的位置的梯度传回去，guided加一个条件，且梯度>0的位置才回传。

 

4、实验

（1）、Weakly-supervised Localization

使用得到的热力图绘制物体检测框

（2）、、、、待看