深度学习可视化模型

目前深度学习网络的可视化可以分为：

• 可视化卷积核。
• 可视化特征图。
• 可视化激活热力图，也就是不同位置像素点对得出结果的影响程度。
  

网络的可视化——热力图

CAM（ https://arxiv.org/abs/1512.04150）

奠定了深度学习网络可解释性的基石。

算法原理

如下图所示：下图上面是关于一个分类网络的一个训练过程，即输入一个原始图像，经过全卷积神经网络的训练，得到最后一个卷积层的卷积结果，这里为一个512通道14*14的卷积结果，经过全局平均池化GAP，对每一个通道求一个平均数（即得到512个平均数），这些平均数作为线性分类的权重进行加权求和，得到每一个类别的logit，经过softmax得到一个后验置信度，从而得到该特征中属于每一个类别的概率。视频讲解的时候，是假设有1000个类别。

其类激活热力图的计算是用平均数所对应的权重乘所对应的卷积层，描述了一种每一个卷积层对最后分类结果的重要程度，最后累加得到最后的结果为某一个类别所对应的热力图。

算法的缺点是必须要用GAP层替代全连接层进行重新训练，其相关改进为Grad-CAM。

• 在GAM的算法中，其卷积网络使用的都是全卷积，并没有进行池化，这是因为池化有一个重要的特点就是平移不变性（无论特征在图片什么位置都可以识别到），因此会丢失图像的位置信息，因此在CAM热力图中，不使用带池化的卷积神经网络。
• 全局平均池化：取代全连接层，减少参数量，防止过拟合。而且每个的GPA平均值间接代表了卷积层最后一层输出的每个channel，即每一个通道变成一个平均值。
• 缺点：①必须得有GPA层，否则得修改模型结构后重新训练；②只能分析最后一层卷积层输出，无法分析中间层；③仅限于图像分类任务。

machine learning ——> machine teaching

参考视频：