[论文解读]CVPR2019|RePr: Improved Training of Convolutional Filters

题目：RePr: Improved Training of Convolutional Filters
作者：Aaditya Prakash ； James Storer；Dinei Florencio, Cha Zhang

Motivation:
作者认为，所有训练好的网络都是可以在不明显降低效果的同时，对网络进行剪枝。这是因为网络的卷积核有一些不必要的重复。一个具有较少卷积核的小模型从头开始训练的效果，都没有大模型通过剪枝得到的相同数量卷积核的网络的效果好。一般的训练流程都会产生一些无用的，冗余的，可修剪的卷积核，因此，作者提出本文的中心思想：先固定一些卷积核，训练其余的卷积核，然后如此重复。最后，再按照标准的方法继续训练。

Related Work:
训练计划：目前很多模型压缩提高效果的论文，普遍通过Dropout的方法实现。有随机drop 神经元的，有drop 激活函数的，有drop整个网络层的，这却让模型学得与丢掉的层相同的特征，但很大程度上抑制了过拟合。而作者提出的不是学得相同的特征，而是让这些特征层进行线性的组合。
模型压缩：KD使用soft logist让大模型教小模型，使小模型获得大模型相同的效果，作都不要大模型并计算量很小，如果加上KD的话，模型的效果会更好。
接下来讲神经元的排行；
然后是网络结构，如果事先改变网络结构，不会有什么效果。
后面讲不同特征之间的相关性，通过拼接相加等方法减小相关性。这使计算量增加并改变了网络结构，作者的方法在不改变网络结构的基础上减小了相关性。

如果特征图之间是正交的，那么会在不同的激活空间进行计算，改善网络的效果，这可以通过计算那些表达最强的卷积。对于浅层网络比较容易，但对于深层的网络计算量非常大，则可以通过正则化可以减小相关性。还有很多使特征图正交的方法，可参考论文。
作者通过CCA（典型相关性分析）来学习每层特征图之间的重叠性，

而后，作者又作了一个实验，用一个两层每层32个Filter的网络训练CIFA-10，并单独分析各个Filter对模型效果的影响,如图：

一个很小的网络都存在可以修剪的filter，并且两层之间都有很大的相关性。
以上只是介绍，不涉及方法，重点在下：
RePr:
直接上算法流程：

循环：
1、迭代计算$M_F$
2、用$R_f$找出$\hat{F}$
3、迭代计算$M_{F-\hat{F}}$
4、更新参数

inter-filter orthogonality（核内正交化）：
$$\begin{gathered} 一个layer有多个filter:l\to k\ast k\ast c \\ 多个filter\to W_l \\ 归一化：{\hat{W}}_l=W_l/||W_l|| \\ 映射：P_l=|{\hat{W}}_l\ast {\hat{W}}_l^T-I| \\ 相关性：O_l^f=\frac{\sum P_l[f]}{J_l},J_l是P_l的大小J_l\times J_l \end{gathered}$$

一个layer的多个卷积核可以用一个matrix表示，也就是$W_l$,先对$W_l$归一化，再与自己的转置相乘得到${\hat{W}}_l$，第i行表示其他filter对第i个filter的映射，可以看成是相关性，如果是正交性的越大，那么这个值就越小，一行的数值之和越小，说明其他filter与这个filter相关性越低。因此可以通过这个sum来对filter进行rank。计算这个metric是在一个layer内，但rank是在所有layer进行的，目的是为了不让layer这个因数影响filter的rank，避开layer的差异性，同时也不引入过多的超参。

Experiment:
还是直接上图：