【阅读笔记】DeepVID: Deep Visual Interpretation and Diagnosis for Image Classifiers

摘要

深度神经网络（DNN）由于其卓越的性能而被广泛用于多个学科。但是，在大多数情况下，DNN被视为黑盒子，对其内部工作机制的解释通常具有挑战性。鉴于模型信任通常建立在对模型如何工作的理解的基础上，DNN的解释变得更加重要，尤其是在安全关键应用（例如，医疗诊断，自动驾驶）中。

在本文中，我们提出了DeepVID，一种用于视觉解释和诊断DNN模型的深度学习方法，尤其是图像分类器。具体来说，我们训练一个小的本地模型来模拟围绕特定功能的原始笨重DNN的行为，并且本地模型足够简单以使其可以被可视地解释（例如，线性模型）。知识蒸馏用于将知识从笨重的DNN转移到小模型，并且深度生成模型（即，变分自动编码器）用于生成感兴趣实例周围的邻居。这些具有小特征差异和语义含义的邻居可以有效地探测DNN围绕感兴趣实例的行为，并帮助小模型学习这些行为。通过综合评估以及与深度学习专家一起进行的案例研究，我们验证了DeepVID的有效性。

 

简介

分类在机器学习领域是一个基础的问题，并且有很多算法和模型去解决这类问题，例如原生的贝叶斯算法，支持向量机和决策树，这些模型一直在发展并且实现了十分优越的性能，最近，深度神经网络分类器展现了甚至更好的分类性能，在ImageNet上通过卷积神经网络在准确率上有了质的飞跃。

然而，这些杰出的分类模型并没有引出简单的模型解释性和模型信任性。最近，人们开始更多关注于可信任性和可解释性的话题，当运用那些准确但是更复杂的模型上，特别是在安全关键的应用上。例如，在自动驾驶领域，将一个停车指示牌认成是一个限速指示牌将会导致很严重的后果。然而，大部分的分类模型，特别是深度神经网络的模型，常常被认为是黑箱问题，解释他们的内部工作机制常常是很有挑战性的工作，因为数据在高纬度下的转移超出了人类的理解能力。

对于图像分类问题，模型的可解释性常常专注于找出图片的那些像素对于图像是哪个类别具备积极的或者消级的作用，在文献中可以找到的两种可解释性的技术，第一种试图去打开黑箱并且是给特定的深度神经网络分类器，例如引导反向传播，逐层相关传播和类激活图等等。