文章目录
目前深度学习网络的可视化可以分为:
- 可视化卷积核。
- 可视化特征图。
- 可视化激活热力图,也就是不同位置像素点对得出结果的影响程度。
网络的可视化——热力图
CAM( https://arxiv.org/abs/1512.04150)
奠定了深度学习网络可解释性的基石。
算法原理
如下图所示:下图上面是关于一个分类网络的一个训练过程,即输入一个原始图像,经过全卷积神经网络的训练,得到最后一个卷积层的卷积结果,这里为一个512通道14*14的卷积结果,经过全局平均池化GAP,对每一个通道求一个平均数(即得到512个平均数),这些平均数作为线性分类的权重进行加权求和,得到每一个类别的logit,经过softmax得到一个后验置信度,从而得到该特征中属于每一个类别的概率。视频讲解的时候,是假设有1000个类别。
其类激活热力图的计算是用平均数所对应的权重乘所对应的卷积层,描述了一种每一个卷积层对最后分类结果的重要程度,最后累加得到最后的结果为某一个类别所对应的热力图。
算法的缺点是必须要用GAP层替代全连接层进行重新训练,其相关改进为Grad-CAM。
- 在GAM的算法中,其卷积网络使用的都是全卷积,并没有进行池化,这是因为池化有一个重要的特点就是平移不变性(无论特征在图片什么位置都可以识别到),因此会丢失图像的位置信息,因此在CAM热力图中,不使用带池化的卷积神经网络。
- 全局平均池化:取代全连接层,减少参数量,防止过拟合。而且每个的GPA平均值间接代表了卷积层最后一层输出的每个channel,即每一个通道变成一个平均值。
- 缺点:①必须得有GPA层,否则得修改模型结构后重新训练;②只能分析最后一层卷积层输出,无法分析中间层;③仅限于图像分类任务。
machine learning ——> machine teaching
参考视频: