CSG：清华大学提出通过分化类特定卷积核来训练可解释的卷积网络 | ECCV 2020 Oral

论文提出类特定控制门CSG来引导网络学习类特定的卷积核，并且加入正则化方法来稀疏化CSG矩阵，进一步保证类特定。从实验结果来看，CSG的稀疏性能够引导卷积核与类别的强关联，在卷积核层面产生高度类相关的特征表达，从而提升网络的性能以及可解释性
 
来源：晓飞的算法工程笔记 公众号

论文: Training Interpretable Convolutional Neural Networks by Differentiating Class-specific Filters

• 论文地址：https://arxiv.org/abs/2007.08194
• 论文代码：https://github.com/hyliang96/CSGCNN

Introduction

---

  卷积神经网络虽然在多个视觉任务中有很好的表现，但可解释性的欠缺导致其在需要人类信任或互动的应用中受到限制，而论文认为类别与卷积核间的多对多关系是造成卷积网络可解释性差的主要原因，称之为filter-class entanglement。如上图所示，卷积网络通常提取包含多个语义概念的混合特征，比如类别、场景和颜色等，去除entanglement能够更好地解释每个卷积核的作用。

  受细胞分化的启发，论文提出在最后的卷积层中学习类特定卷积核，希望卷积核能够"分化"成针对不同类别的分组，如图1右所示，单个卷积核专门负责特定类别的识别。为了实现这个想法，论文设计了可学习的类特定门控CSG(Class-Specific Gate)来引导将卷积核分配给不同的类别，只有当特定类别作为输入时，对应卷积核输出的特征才能被使用。
  论文的主要贡献如下：

• 提出新的训练策略来学习更灵活的卷积核与类别的关系，每个卷积核仅提取一个或少量类别的相关特征。
• 提出通过卷积特征和类别预测的互信息来验证卷积核与类别的关系，并且基于此设计了一个度量方法来测量网络的filter-class entanglement。
• 通过实验证明论文提出的方法能够消除卷积核的冗余以及增强可解释性，可应用于目标定位和对抗样本检测。

Ideally Class-Specific Filters

---

  如图2所示，理想的类特定卷积核应该只对应一个类别，为了明确定义，使用矩阵$G\in [0,1{]}^{C\times K}$来表示卷积核和类别的相关性，矩阵元素$G_c^k\in [0,1]$代表$k$卷积核和$c$类别的相关性。对于输入样本$(x,y)\in D$，取矩阵$G$的行$G_y\in [0,1{]}^K$作为控制门，将不相关的卷积核输出置为零。定义$\tilde{y}$为正常网络结构(STD)直接预测的类概率向量，${\tilde{y}}^G$为加入矩阵$G$(处理倒数第二层的特征图)后的网络(CSG)预测的类概率向量，若存在$G$(所有列为one-hot)使得${\tilde{y}}^G$和$\tilde{y}$几乎不存在差异时，称该卷积核为理想的类特定卷积核。

Problem formulation

---

  为了让网络在训练中分化类特定卷积核，论文在标准的前行推理(standard path, STD)中引入可学习的类特定控制门(Class-Specific Gate path, CSG) ，用来有选择性地阻隔不相关特征维度。

The Original Problem

  如上图所示，论文的目标是训练包含理想类特定卷积核的网络，网络参数为$\theta$，包含两条前向推理路径：

• 标准路径STD预测${\tilde{y}}_{\theta }$