Keras中可视化卷积层的类激活热力图

【时间】2018.12.26

【题目】Keras中可视化卷积层的类激活热力图

概述    

    本文是对《Deep Learning with python》一书中第5.4.3节Keras中可视化类激活的热力图的整理与总结,参考链接：https://blog.youkuaiyun.com/einstellung/article/details/82858974

一、什么是类激活图（CAP）？

    类激活图（CAM，class activation map)是与特定输出类别相关的二维分数网格，对于输入图像的每个位置进行计算，它表示每个位置对该类别的重要程度。

二、类激活图可视化

    类激活图可视化有助于了解一张图像的哪一部分让卷积神经网络做出了最终的分类决策。这有助于对卷积神经网络的决策过程进行调试，特别是分类错误的情况下。同时，这种方法可以定位图像中的特定目标。这里，我们介绍的具体实现方式是“Grad-CAM：visual explanations from deep networks via gradiaent-based localization',它是在2017年提出来的，具体实现方法是：给定一张输入图像，对于一个卷积层的输出特征图，用类别相对于每一个通道的梯度对这个特征图中的每个通道进行加权。

三、使用VGG16演示类激活图可视化

3.1 加载预训练的VGG-16：

from keras.applications.vgg16 import VGG16

model = VGG16(weights='imagenet')

model.summary()

【VGG-16】模型结构如下：最后输出的是1000维的向量，表示属于1000个类别的概率

3.2 载入输入图像及预处理

如图所示，这是两只非洲象的图片。我们将这张图片转换为VGG16能够读取的格式：大小为224X224的图像，这些训练图