visualizing deep neural network decisions prediction difference analysis 可视化深度神经网络决策预测差异

作者：18届cyl

日期：2021-08-09

论文：《visualizing deep neural network decisions prediction difference analysis》

期刊：ICLR

一、概述

本文在ImageNet和医学影像（MRI脑扫描）两个数据集上进行的实验中说明了一种可以突出显示给定输入图像中提供支持或者反对某个类的证据的区域。为分类器决策过程提供的新的视角。（属于可视化热力图的）

就像这张识别该对象为凤头鹦鹉的最重要的特征是其面部特征（红色），而它身体的一些其他部分（蓝色）似乎构成了反对这一决定的证据。事实上，分类器可能认为这些蓝色部分会让他们认为这个是白狼。

其实本论文展现的可视化方法与ZFNet那一篇论文的后半个实验有点类似（第一种方法是可视化滤波器 第二个实验是遮挡实验） 但是也有所不同 本实验是通过条件采样、多元分析、深度可视化 来实现可视化结果的。结果更加严谨与可信。

二、具体的研究方法

对于已经给定的预测，设计了一种方法为每个输入特征相对于这个类分配一个关联值。该方法的基本思想是特征x的关联。由于采用的是滑动窗口的方式所以特征是未知的，则通过测量预测如何变化来估计。

在实际操作中，在删除相应特征的时候有二种方式：
1、将这一部分特征标记为unknown (大多数分类器不支持)
2、边缘化某一特征来模拟这一块特征的缺失