PatternRecognitionLetters-Understanding trained CNNs by indexing neuron selectivity

作者:18届 cyl

日期：2021-08-15

论文：《PatternRecognitionLetters-Understanding trained CNNs by indexing neuron selectivity》

一、总结

通过为神经元赋予特定的属性来量化其挑选图像的能力，同时可以依靠这些属性来寻找特定的神经元。

二、背景

尽管卷积神经网络（CNN）在解决有关于图像的问题上有卓越的性能，但其本身所具备的黑盒性质也使得人类对其缺乏了解。

为了解决这个问题，作者相对神经元进行分析和解释。于是为每个神经元定义了两个特定的属性（分别是图像的颜色特征和图像标签）来量化其过滤图像的能力。

这两个属性有助于我们找到特定的神经元（如颜色属性可以知道我们找到Conv4层中的红蘑菇单元），类别属性可以知道我们找到Conv5层中的狗脸神经元。

三、方法

• 可视化方面：定义了神经元特征（NF，neuron feature）,具体公式和效果如下图所示。总的来说就是计算每个神经元各自的前N个最大激活图像的加权平均图。它代表最能激活某一神经元的图像类型。
  
  比如上图就是计算conv5这五个神经元的NF图像。也就是计算前100个最大激活图像的加权平均图像，这个权重是根据激活值的大小来定的。
  
  上图是五个卷积层内部分神经元的NF图，a）部分是比较清晰的例子，b)部分是比较模糊的例子
• 基于NF图,根据高级概念（比如color和class）来为神经元赋予属性：
  color指数：基于上文提到的NF概念，对每个神经元计算NF图的颜色分布的第一个主成分（v）与Opponent Color Space（OPP）的轴（b）之间的夹角。根据这个公式可以计算出来这个神经元对颜色的提取能力。
  个人理解，这个公式的意思就是统计一下前x个最大激活图像的颜色相似性。
  
  class指数：则是从用于构建NF的N副画像的类别标签来定义。
  个人理解为统计一下前x个最大激活图像的最终分类一致性。
  
  N表示所有分类个数，M表示前x个最大激活图像中涵盖的类别个数。因此，较高的值（最大为1）表示次神经元对单个类别的强贡献，而较低的类别选择性指数表示次神经元对单个类别的不良贡献（当M=N时，最小值为0）

四、结果

上图是分别对color指数和class指数进行实验的结果。
第一张图表示的是按照color指数从低到高从左到右进行排列的5个神经元的NF图及其对应的前100个激活图像。
第二张图与第一张图类似，不过是按照class指数来排列的。
结果证明，color指数越高的神经元对应的最大激活图像基本都是统一颜色，指数越低对应的图像是五彩斑斓的。Class指数也是如此，作者
用词云来显示result效果。

五、结论

本文提出的方法是通过定义神经元的特定属性量化指标来分析和解释单个神经元，并借此来分析CNN模型。
未来可以充分利用这种属性指标在神经网络体系结构中的潜力，从形状、纹理等概念出发定义新的属性指标