17、可解释深度学习AI：通过剪枝理解卷积神经网络

可解释深度学习AI：通过剪枝理解卷积神经网络

1. 卷积神经网络概述

卷积神经网络（CNNs）在诸多领域发挥着重要作用，包括计算机视觉、原始音频生成以及一般数据分析等。它由一系列层组成，每层使用一组过滤器对输入进行变换，生成多通道输出。过滤器的输出组合起来，得出输入图像属于给定类别集合的可能性。网络的核心是位于不同层且针对不同特征进行调整的过滤器集合，每个过滤器通过其权重为每个类别识别做出不同贡献，这些权重是在网络训练过程中获得的，目的是平衡不同类别的需求，为整个训练数据提供最佳平均结果，例如实现给定样本分类的最高平均准确率。

2. 相关研究工作

2.1 神经网络可视化与理解

此前有不少尝试对CNN的操作进行解释，许多研究聚焦于解释单个神经元的功能，通过寻找能使特定神经元响应最大化的输入和/或对象，将其视为“单细胞对象识别器”。然而，由于神经元是作为一个网络协同工作的，单神经元特征可视化对理解神经网络决策的帮助有限。同时，分析神经元组的决策也颇具挑战，因为大量网络参数带来了组合复杂性。也有研究通过使用PCA或t - SNE等降维方法在二维空间中可视化激活来研究神经元组的可视化。此外，还有研究在单神经元可视化的基础上，近似计算神经元值的变化如何改变每个类别的对数几率。

2.2 剪枝方法

现有的剪枝方法主要可分为基于权重、激活和基于准确性/损失优化这三类。最简单的方法是移除值最小的过滤器；基于激活的剪枝与本文方法最为接近，它专注于移除最不活跃的神经元，但部分此类方法因移除不改变激活图的过滤器，无法提供关于过滤器对特定类别贡献的足够信息，不适用于本文研究。基于准确性/损失优化的方法试图估计过滤器对总体损失函数或模型