CVPR2023 即插即用 SCConv (附代码)

论文地址：SSCONV

代码地址：https://github.com/cheng-haha/ScConv

1.是什么？

SCConv是一种高效的卷积模块，用于压缩卷积神经网络中的冗余特征，以减少计算负荷并提高模型性能。它由空间重构单元(SRU)和信道重构单元(CRU)两个单元组成，SRU用于抑制空间冗余，CRU用于减少信道冗余。SCConv可以直接用于替代各种卷积神经网络中的标准卷积，是一种即插即用的架构单元。实验结果表明，将SCConv嵌入模型可以通过减少冗余特征来获得更好的性能，并且显著降低了复杂度和计算成本。

2.为什么？

卷积神经网络(CNN)在各种计算机视觉任务中取得了显著的性能，但这是以巨大的计算资源为代价的，部分原因是卷积层提取冗余特征。最近的作品要么压缩训练有素的大型模型，要么探索设计良好的轻量级模型。在本文中，我们尝试利用特征之间的空间和通道冗余来进行CNN压缩，并提出了一种高效的卷积模块，称为SCConv (spatial and channel reconstruction convolution)，以减少冗余计算并促进代表性特征的学习。提出的SCConv由空间重构单元(SRU)和信道重构单元(CRU)两个单元组成。SRU采用分离重构的方法来抑制空间冗余，CRU采用分离变换融合的策略来减少信道冗余。此外，SCConv是一种即插即用的架构单元，可直接用于替代各种卷积神经网络中的标准卷积。实验结果表明，scconvo嵌入模型能够通过减少冗余特征来获得更好的性能，并且显著降低了复杂度和计算成本。

3.怎么样？

3.1网络结构

如图所示的SCConv，它由空间重构单元(SRU)和通道重构单元(CRU)两个按顺序放置的单元组成。具体而言，对于瓶颈残差块中的中间输入特征X，首先通过SRU操作得到空间细化特征Xw，然后利用CRU操作得到通道细化特征Y。在SCConv模块中利用特征之间的空间和通道冗余，可以无缝集成到任何CNN架构中，以减少中间特征图之间的冗余，并提高CNN的特征表示。

3.2 模块

3.2.1SRU用于空间冗余

为了利用特征的空间冗余性，我们引入了空间重构单元(SRU)，如图2所示，采用分离-重构操作。分离操作旨在将信息丰富的特征图与与空间内容对应的信息较少的特征图分离。利用组归一化(GN)层中的缩放因子来评估不同特征图的信息内容。具体来说，给定一个中间特征图X∈R N×C×H×W，其中N为批处理轴，C为通道轴，H和W为空间高度和宽度轴。我们首先通过减去均值µ除以标准差σ来标准化输入特征X，如下所示:

其中，μ和σ是X的均值和标准差，ε是一个为了稳定除法而添加的小的正数，γ和β是可训练的仿射变换。

注意到我们在GN层中利用可训练参数来衡量每个批次和通道的空间像素的方差。更丰富的空间信息反映了更多的空间像素的变化，从而贡献更大的γ 。归一化的相关权重
通过等式获得，这表明了不同特征图的重要性。
 

 然后通过sigmoid函数将由重新加权的特征图的权重值映射到范围(0,1)并通过阈值进行门控。我们将高于阈值的权重设置为1以获得信息丰富的权重 ，而将它们设置为0以获得非信息丰富的权重（在实验中阈值设置为0.5）。获取W 的整个过程可以由等式表示：

最后，我们将输入特征X分别乘以 和 ，得到两个加权特征：信息丰富的特征和信息较少的特征。这样我们就成功地将输入特征分为两个部分：