【即插即用网络结构专题】SCConv：一种基于空间合通道重构的高效卷积模块

原创 已于 2025-12-01 22:45:17 修改 · 1k 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#网络结构，即插即用，AI

于 2025-12-01 22:36:26 首次发布

在这里插入图片描述

SCConv: Spatial and Channel Reconstruction Convolution for Feature Redundancy（2023 CVPR）

该文章提出了一种名为 SCConv（Spatial and Channel Reconstruction Convolution）的高效卷积模块，旨在通过减少卷积神经网络（CNNs）中的空间和通道冗余，在降低计算成本与模型存储的同时提升性能，相关研究成果发表于 CVPR 2023。
参考资料如下：
[1]. 论文地址

一、研究背景

卷积神经网络（Convolutional Neural Networks, CNN）在各类计算机视觉任务中展现出卓越性能，但这一成就的背后是巨大的计算资源消耗，部分原因在于卷积层会提取冗余特征。近年来的研究方向主要分为两类：一类是对训练成熟的大规模模型进行压缩，另一类是探索设计精良的轻量级模型。

在论文中，作者尝试利用特征间的空间冗余与通道冗余来实现CNN压缩，并提出一种高效的卷积模块——SCConv（空间与通道重构卷积，Spatial and Channel Reconstruction Convolution）。该模块旨在减少冗余计算，同时促进具有代表性的特征学习。

所提出的SCConv由两个单元构成：空间重构单元（Spatial Reconstruction Unit, SRU）和通道重构单元（Channel Reconstruction Unit, CRU）。其中，SRU采用“分离-重构”（separate-and-reconstruct）方法抑制空间冗余，而CRU则通过“分割-转换-融合”（split-transform-and-fuse）策略减少通道冗余。此外，SCConv是一种“即插即用”（plug-and-play）的架构单元，可直接用于替换各类卷积神经网络中的标准卷积。

实验结果表明，嵌入SCConv的模型能够通过减少冗余特征，在显著降低模型复杂度与计算成本的同时，实现更优的性能表现。。

二、方法

在这里插入图片描述
SCConv是一个顺序组合的双单元模块，整体流程为：输入特征先经过空间重构单元（SRU） 完成空间冗余抑制与空间精炼特征生成，再将空间精炼特征输入通道重构单元（CRU） 完成通道冗余抑制与通道精炼特征生成，最终输出可用于后续网络层的高效特征。该模块不引入额外架构依赖，可无缝嵌入ResNet、ResNeXt、等主流CNN backbone，替换其中的标准3×3卷积层。

1.核心单元1：空间重构单元（SRU）——抑制空间冗余

在这里插入图片描述
SRU采用“分离-重构（Separate-and-Reconstruct） ”策略，通过“评估特征重要性→分离有效与冗余特征→交叉重构强化有效特征”三步，实现空间冗余抑制，具体流程如下：

1.1.特征重要性评估：基于组归一化（GN）的权重度量

针对输入特征图 X ∈ R N × C × H × W X \in \mathbb{R}^{N \times C \times H \times W} X∈RN×C×H×W（其中 N N N 为批次大小， C C C 为通道数， H / W H/W H/W 为空间高/宽），首先通过组归一化（GN）标准化特征，公式为：
X o u t = G N ( X ) = γ X − μ σ 2 + ε + β X_{out }=GN(X)=\gamma \frac{X-\mu}{\sqrt{\sigma^{2}+\varepsilon}}+\beta Xout​=GN(X)=γσ2+ε ​X−μ​+β
其中 μ / σ \mu/\sigma μ/σ 为特征的均值/标准差， ε \varepsilon ε为防止分母为0的微小常数， γ \gamma γ（可训练缩放因子）和 β \beta β（可训练偏移因子）为GN的 affine 参数。
SRU核心创新在于利用 γ ∈ R C \gamma \in \mathbb{R}^{C} γ∈RC度量特征图的空间信息丰富度：空间像素变化越显著（信息越丰富）的特征图，其 γ \gamma γ 值越大；反之则为冗余特征图。

1.2 特征分离：门控机制划分有效与冗余特征

为量化特征重要性，先计算归一化相关权重 W γ ∈ R C W_{\gamma} \in \mathbb{R}^{C} Wγ​∈RC，表示各通道特征图的相对重要性，公式为：
W γ = { w i } = γ i ∑ j = 1 C γ j , i , j = 1 , 2 , ⋯   , C W_{\gamma}=\left\{w_{i}\right\}=\frac{\gamma_{i}}{\sum_{j=1}^{C} \gamma_{j}}, i, j=1,2, \cdots, C Wγ​={wi​}=∑j=1C​γj​γi​​,i,j=1,2,⋯,C
再通过sigmoid函数将 W γ W_{\gamma} Wγ​映射到（0,1）区间，并引入阈值（实验中设为0.5） 进行门控：

  • 权重 w i > 0.5 w_i > 0.5 wi​>0.5的特征图标记为“信息丰富特征”，对应权重 W 1 W_1 W1​；
  • 权重 w i ≤ 0.5 w_i \leq 0.5 wi​≤0.5的特征图标记为“空间冗余特征”，对应权重 W 2 W_2 W2​；
    最终通过元素乘法将输入特征 X X X 分离为两部分：
    X 1 w = W 1 ⊗ X ( 信息丰富特征 ) , X 2 w = W 2 ⊗ X ( 空间冗余特征 ) X_1^w = W_1 \otimes X \quad (\text{信息丰富特征}), \quad X_2^w = W_2 \otimes X \quad (\text{空间冗余特征}) X1w​=W1​⊗X(信息丰富特征),X2w​=W2​⊗X(空间冗余特征)
    （其中 ⊗ \otimes ⊗ 表示乘法）
1.3 特征重构：交叉融合强化有效特征

为避免直接丢弃冗余特征导致的信息损失，SRU采用交叉重构策略，将冗余特征中的少量有效信息融入信息丰富特征，同时压缩空间冗余：

  • 对 X 1 w X_1^w X1w​ 和 X 2 w X_2^w X2w​ 分别进行子特征划分（如划分为 X 11 w , X 12 w X_{11}^w, X_{12}^w X11w​,X12w​和 X 21 w , X 22 w X_{21}^w, X_{22}^w X21w​,X22w​）；
  • 交叉求和: X w 1 = X 11 w ⊕ X 22 w X^{w1} = X_{11}^w \oplus X_{22}^w Xw1=X11w​⊕X22w​， X w 2 = X 21 w ⊕ X 12 w X^{w2} = X_{21}^w \oplus X_{12}^w Xw2=X21w​⊕X12w​（其中 ⊕ \oplus ⊕ 表示元素求和）；
  • 拼接输出：将 X w 1 X^{w1} Xw1 和 X w 2 X^{w2} Xw2 拼接，得到空间精炼特征 X w X^w Xw，公式为：
    X w = X w 1 ∪ X w 2 X^w = X^{w1} \cup X^{w2} Xw=Xw1∪Xw2
    （其中 ∪ \cup ∪ 表示通道维度拼接）
    此过程既抑制了空间冗余，又通过交叉融合强化了有效特征的表达能力，且未增加额外计算量。

2.核心单元2：通道重构单元（CRU）——抑制通道冗余

在这里插入图片描述
CRU针对SRU输出的空间精炼特征 X w X^w Xw，采用“分割-转换-融合（Split-Transform-and-Fuse） ”策略，在减少通道冗余的同时，通过轻量级操作提取高维代表性特征，具体流程如下：

2.1 特征分割：按比例拆分与通道压缩

首先对空间精炼特征 X w ∈ R C × H × W X^w \in \mathbb{R}^{C \times H \times W} Xw∈RC×H×W进行两步处理：

  • 比例分割：按通道比例 α \alpha α（实验中最优值为1/2）将通道分为两部分：上部分含 α C \alpha C αC 个通道，下部分含 ( 1 − α ) C (1-\alpha) C (1−α)C 个通道；
  • 通道压缩：引入“压缩比 r r r”（实验中设为2），对两部分特征分别应用1×1卷积，将通道数压缩至 α C / r \alpha C/r αC/r（上部分）和 ( 1 − α ) C / r (1-\alpha) C/r (1−α)C/r（下部分），得到压缩后的特征 X u p X_{up} Xup​（上部分）和 X l o w X_{low} Xlow​（下部分）。
    此步骤通过通道拆分与压缩，初步减少通道维度的冗余，并降低后续转换操作的计算成本。
2.2 特征转换：轻量级操作提取分层特征

CRU将 X u p X_{up} Xup​和 X l o w X_{low} Xlow​ 输入不同的转换分支，分别提取“高维代表性特征”和“浅层补充特征”，实现特征分层学习：

（1）上部分转换分支（Rich Feature Extractor）：提取高维特征

针对 X u p X_{up} Xup​，采用“组卷积（GWC）+点卷积（PWC）”的组合，替换计算昂贵的标准 k × k k×k k×k 卷积（实验中 k = 3 k=3 k=3）：

  • 组卷积（GWC）：将 X u p X_{up} Xup​ 的通道分为 g g g个组（实验中 g = 2 g =2 g=2 ），每组独立进行3×3卷积，通过稀疏通道连接减少参数与计算量（避免标准卷积的全通道连接冗余）；
  • 点卷积（PWC）：对GWC输出应用1×1卷积，弥补GWC导致的通道间信息割裂，促进通道间信息流动；
  • 特征融合：将GWC和PWC的输出进行元素-wise求和，得到高维代表性特征 Y 1 Y_1 Y1​，公式为：
    Y 1 = M G X u p + M P 1 X u p Y_1 = M^G X_{up} + M^{P_1} X_{up} Y1​=MGXup​+MP1​Xup​
    其中 M G M^G MG 为GWC的可训练权重矩阵， M P 1 M^{P_1} MP1​ 为PWC的可训练权重矩阵， Y 1 ∈ R C × H × W Y_1 \in \mathbb{R}^{C \times H \times W} Y1​∈RC×H×W。
（2）下部分转换分支（Supplementary Feature Extractor）：提取浅层特征

针对 X l o w X_{low} Xlow​，采用“廉价操作+特征复用”策略，在极低计算成本下补充浅层细节特征：

  • 廉价PWC：仅应用1×1卷积（权重矩阵 M P 2 M^{P_2} MP2​），生成浅层特征 M P 2 X l o w M^{P_2} X_{low} MP2​Xlow​；
  • 特征复用：直接复用原始 X l o w X_{low} Xlow​，避免重复计算；
  • 特征拼接：将生成的浅层特征与复用特征拼接，得到浅层补充特征 Y 2 Y_2 Y2​，公式为： Y 2 = M P 2 X l o w ∪ X l o w Y_2 = M^{P_2} X_{low} \cup X_{low} Y2​=MP2​Xlow​∪Xlow​
    其中 Y 2 ∈ R C × H × W Y_2 \in \mathbb{R}^{C \times H \times W} Y2​∈RC×H×W，此分支计算成本仅为上部分分支的1/3~1/2，且通过复用保留了原始特征的细节信息。
2.3 特征融合：自适应权重合并分层特征

为避免直接拼接/求和导致的特征权重失衡，CRU借鉴简化的SKNet注意力机制，对 Y 1 Y_1 Y1​ 和 Y 2 Y_2 Y2​ 进行自适应融合：

  • 全局平均池化：对 Y 1 Y_1 Y1​ 和 Y 2 Y_2 Y2​ 分别应用全局平均池化，提取通道维度的全局统计信息 S 1 ∈ R C × 1 × 1 S_1 \in \mathbb{R}^{C \times 1 \times 1} S1​∈RC×1×1 和 S 2 ∈ R C × 1 × 1 S_2 \in \mathbb{R}^{C \times 1 \times 1} S2​∈RC×1×1，公式为：
    S m = 1 H × W ∑ i = 1 H ∑ j = 1 W Y c ( i , j ) , m = 1 , 2 S_m = \frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} Y_{c}(i, j), m=1,2 Sm​=H×W1​i=1∑H​j=1∑W​Yc​(i,j),m=1,2
  • 通道注意力权重计算：通过softmax函数对 S 1 S_1 S1​ 和 S 2 S_2 S2​ 归一化，生成特征重要性权重 β 1 \beta_1 β1​ 和 β 2 \beta_2 β2​（满足 β 1 + β 2 = 1 \beta_1 + \beta_2 = 1 β1​+β2​=1），公式为： β 1 = e S 1 e S 1 + e S 2 , β 2 = e S 2 e S 1 + e S 2 \beta_1 = \frac{e^{S_1}}{e^{S_1} + e^{S_2}}, \quad \beta_2 = \frac{e^{S_2}}{e^{S_1} + e^{S_2}} β1​=eS1​+eS2​eS1​​,β2​=eS1​+eS2​eS2​​
  • 自适应融合：按权重对 Y 1 Y_1 Y1​和 Y 2 Y_2 Y2​进行元素加权求和，得到通道精炼特征 Y Y Y，公式为：
    Y = β 1 Y 1 + β 2 Y 2 Y = \beta_1 Y_1 + \beta_2 Y_2 Y=β1​Y1​+β2​Y2​
    此过程可根据任务需求动态调整高维特征与浅层特征的贡献度，进一步提升特征表达的有效性。

3.方案复杂度优势（参数与计算量分析）

SCConv的参数主要集中在CRU的转换阶段，相比标准卷积，其复杂度降低显著：

3.1 标准卷积的参数计算

标准 k × k k×k k×k 卷积的参数数量公式为：
P s = k 2 × C 1 × C 2 P_s = k^2 \times C_1 \times C_2 Ps​=k2×C1​×C2​
其中 C 1 C_1 C1​ 为输入通道数， C 2 C_2 C2​ 为输出通道数， k k k 为卷积核大小（如3×3卷积 k = 3 k=3 k=3）。

3.2 SCConv的参数计算

SCConv的参数由CRU的“分割-转换”阶段的1×1卷积、GWC、PWC参数组成，公式为：
P s c = 1 × 1 × α C 1 × α C 1 r + k 2 × α C 1 g r × C 2 g × g + 1 × 1 × α C 1 r × C 2 + ( 1 − α ) C 1 × ( 1 − α ) C 1 r + 1 × 1 × ( 1 − α ) C 1 r × ( C 2 − 1 − α r C 1 ) \begin{aligned} P_{sc}= & 1×1×\alpha C_1×\frac{\alpha C_1}{r} + k^2×\frac{\alpha C_1}{g r}×\frac{C_2}{g}×g + 1×1×\frac{\alpha C_1}{r}×C_2 \\ & + (1-\alpha) C_1×\frac{(1-\alpha) C_1}{r} + 1×1×\frac{(1-\alpha) C_1}{r}×\left(C_2 - \frac{1-\alpha}{r} C_1\right) \end{aligned} Psc​=​1×1×αC1​×rαC1​​+k2×grαC1​​×gC2​​×g+1×1×rαC1​​×C2​+(1−α)C1​×r(1−α)C1​​+1×1×r(1−α)C1​​×(C2​−r1−α​C1​)​
在实验最优参数设置（ α = 1 / 2 \alpha=1/2 α=1/2 、 、 、r=2 、 、 、g=2 、 、 、k=3 、 、 、 C_1=C_2=C ）下， ）下， ）下， P s / P s c ≈ 5 P_s / P_{sc} \approx 5 Ps​/Psc​≈5，即SCConv的参数数量仅为标准卷积的1/5，计算量同步降低约70%~80%，且无精度损失。

三、实验结果

该轮文围绕所提SCConv（空间与通道重构卷积）模块的有效性验证，设计了多维度实验，全面验证了SCConv在“降低模型复杂度”与“提升任务性能”上的优势，具体实验内容如下：

1.消融实验：验证SCConv内部组件有效性

为明确SCConv中“空间重构单元（SRU）”“通道重构单元（CRU）”的独立作用及组合方式的合理性，以ResNet50为基线，在CIFAR-100数据集上开展消融实验，核心结论如下：

1.1 SRU与CRU的独立贡献及最优组合方式

在这里插入图片描述

  • 独立贡献：
    仅嵌入SRU（ResNet50+S）：无额外计算量（FLOPs与原始ResNet50持平），但Top-1准确率提升近1%（从78.60%升至79.59%），证明SRU可在不增加复杂度的前提下，通过抑制空间冗余强化特征表达；
    仅嵌入CRU（ResNet50+C）：参数减少38%（从23.71M降至14.74M）、FLOPs减少35%（从1.30G降至843.81M），同时Top-1准确率提升0.8%（至79.21%），证明CRU能有效降低通道冗余，平衡效率与性能。

  • 最优组合方式：
    对比3种组合策略（顺序空间-通道S+C、顺序通道-空间C+S、并行C&S），结果显示：S+C（先SRU后CRU） 效果最优：Top-1准确率达79.89%，显著高于C+S（79.54%）与并行C&S（79.26%）；

1.2 CRU中分割比α的最优值

在这里插入图片描述
为确定CRU中“通道分割比例α”（将通道分为αC和(1-α)C两部分）的最优值，在α=1/8~7/8范围内测试，发现：

  • α增大时，模型准确率先升后稳，FLOPs同步小幅增加；
  • α=1/2 时实现“精度-效率”最佳平衡：既保证上部分转换分支（提取高维特征）有足够通道数，又避免下部分分支（补充浅层特征）通道过少导致信息丢失，因此后续实验均采用α=1/2。

2. 特征可视化验证

对“原始ResNet50”与“SRU-嵌入ResNet50”的第一阶段特征图可视化，发现：

  • SRU嵌入模型的特征图“模式更丰富”：冗余背景区域（如均匀色块）的特征被抑制，物体关键细节（如边缘、纹理）的特征更突出且多样化；
  • 直接证明SRU能有效筛选空间有效特征，为后续CRU的通道精炼奠定基础。
    在这里插入图片描述

3. 图像分类实验：验证SCConv在分类任务的优越性

在CIFAR-10/100、ImageNet-1K三大分类数据集上，将SCConv-嵌入模型与OctConv、GhostNet、SPConv、SlimConv、TiedConv等SOTA轻量级方法对比，核心结果如下：

3.1 CIFAR-10/100数据集（小尺寸图像）

在这里插入图片描述

所有SCConv-嵌入模型均在“参数更少、计算量更低”的前提下，实现更高Top-1准确率，典型结果如下：

  • ResNet56基线：SCConv-R56参数仅0.52M（为原始ResNet56的62.7%）、FLOPs 79.55M（62.7%），但CIFAR-10准确率达94.12%（+0.85%）、CIFAR-100达72.56%（+1.06%），优于GhostNet-R56（CIFAR-10仅92.35%）、SlimConv-R56（CIFAR-100仅71.71%）；
  • ResNet50基线：SCConv-R50参数14.69M（原始的62.5%）、FLOPs 831.18M（63.9%），CIFAR-10准确率95.92%（+0.83%）、CIFAR-100达79.89%（+1.29%），且优于同复杂度的SlimConv-R50（CIFAR-100仅78.85%）；
  • 其他架构（ResNeXt-29、WideResNet-28等）：SCConv-嵌入模型均保持优势，例SCConv-WRN28参数21.12M（原始的57.8%），CIFAR-100准确率80.83%（+1.43%），同时计算量减少15.5%。
3.2 ImageNet-1K数据集（大尺寸图像）

在这里插入图片描述

以ResNet50、ResNet101为基线，验证SCConv在大规模数据上的泛化性：

  • ResNet50基线：SCConv-R50（α=1/2）FLOPs 2.70G（原始的66.0%）、参数16.78M（65.6%），Top-1准确率76.41%（+0.26%）；当α=3/4时，准确率进一步升至76.79%（+0.64%），且计算量（2.87G）与SOTA方法PfLayer-R50（2.90G）相当，精度更高；
  • ResNet101基线：SCConv-R101仅用原始62.6%的计算量（4.90G vs 7.83G）、62.8%的参数（28.00M vs 44.55M），Top-1准确率提升0.68%（从77.25%至77.93%）；
  • FLOPs-准确率曲线：SCConv-R50的“计算量-精度”曲线位于所有对比方法（ResNet50、GhostNet-R50、SlimConv-R50等）上方，证明其在相同复杂度下精度最优，或相同精度下复杂度最低。

四、总结

对本论文做个小结：
技术创新：首次提出 “空间 - 通道双维度联合冗余抑制” 策略，SRU 与 CRU 协同优化，弥补现有方法单维度优化的局限；
实用价值：SCConv 为 “即插即用” 模块，无需修改 CNN 架构即可替换标准卷积，适配 ResNet、ResNeXt 等多种 backbone，且兼容分类、检测等多任务；
性能优势：实验证明，SCConv - 嵌入模型在 “参数更少、计算量更低” 的前提下，精度全面优于 OctConv、GhostNet 等 SOTA 方法，为资源受限场景下的 CNN 部署提供高效解决方案。
综上，该论文通过 SCConv 模块的设计与验证，为 CNN 的 “高效化” 提供了新范式，对轻量级神经网络架构研究具有重要参考意义。

感谢阅读，欢迎留言或私信，一起探讨和交流。
如果对你有帮助的话，也希望可以给博主点一个关注，感谢。

【YOLOv8改进 - 卷积Conv】SCConv ：即插即用的空间和通道重建卷积
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
01-22 1万+
【YOLOv8改进 - 卷积Conv】SCConv ：即插即用的空间和通道重建卷积为SCConv（空间和通道重构卷积），以减少冗余计算并促进代表性特征学习。所提出的SCConv由两个单元组成：空间重构单元（SRU）和通道重构单元（CRU）。SRU使用分离-重构方法来抑制空间冗余，而CRU使用分割-变换-融合策略来减少通道冗余。此外，SCConv是一个即插即用的架构单元，可以直接用于替换各种卷积神经网络中的标准卷积。
【YOLOv11改进 - 卷积Conv】SCConv ：即插即用的空间和通道重建卷积
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
10-24 1549
【YOLOv11改进 - 卷积Conv】SCConv ：即插即用的空间和通道重建卷积
即插即用模块详解SCConv:用于特征冗余的空间和通道重构卷积
weixin_47151388的博客
04-15 5322
卷积神经网络(cnn)在各种计算机视觉任务中取得了显著的性能，但这是以巨大的计算资源为代价的，部分原因是卷积层提取冗余特征。最近的作品要么压缩训练有素的大型模型，要么探索设计良好的轻量级模型。在本文中，我们尝试利用特征之间的空间和通道冗余来进行CNN压缩，并提出了一种高效的卷积模块，称为SCConv (spatial and channel reconstruction convolution)，以减少冗余计算并促进代表性特征的学习。
(即插即用模块-Convolution部分) 五、(CVPR 2023) SCConv 空间通道重建卷积
wei582636312的博客
12-05 1704
由于现有的 CNN 模型中存在的特征冗余问题，传统的卷积操作会产生大量冗余的特征，这会导致模型计算量和存储空间的需求增加。为了解决这个问题，论文提出了一种 空间通道重建卷积（Spatial and Channel reconstruction Convolution），通过联合减少空间和通道冗余，在降低模型复杂度和计算成本的同时，提升模型的性能。SCConv 由两个部件组成：空间重构单元（SRU）和通道重构单元（CRU）。
【即插即用模块】卷积篇 | CVPR 2023 | 空间和通道重构卷积SCConv，标准卷积的完美涨点替代！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
10-24 343
SCConv是一种新型卷积模块，通过空间重构单元(SRU)和通道重构单元(CRU)有效减少特征冗余。SRU利用分组归一化和门控机制筛选重要空间特征，CRU通过通道拆分与融合减少通道冗余。实验表明，SCConv在多个视觉任务上达到SOTA性能，同时保持较低计算复杂度。适用于需要精准空间定位和通道区分的关键任务，特别适合计算资源有限的场景。该模块可直接替换传统卷积层，在提升模型性能的同时不显著增加参数量。
SCConv：用于特征冗余的空间和通道重构卷积
AI浩
08-21 3764
代码链接：https://github.com/cheng-haha/ScConv论文链接：https://openaccess.thecvf.com/content/CVPR2023/papers/Li_SCConv_Spatial_and_Channel_Reconstruction_Convolution_for_Feature_Redundancy_CVPR_2023_paper.pdf。
【YOLOv8改进-论文笔记】SCConv ：即插即用的空间和通道重建卷积
m0_63430863的博客
06-20 787
卷积神经网络（CNNs）在各种计算机视觉任务中取得了显著的性能，但这是以巨大的计算资源为代价的，部分原因是卷积层提取了冗余特征。近期的研究要么压缩训练有素的大规模模型，要么探索设计精良的轻量级模型。在本文中，我们尝试利用特征之间的空间和通道冗余性来进行CNN压缩，并提出了一种高效的卷积模块，称为SCConv（空间和通道重构卷积），以减少冗余计算并促进代表性特征学习。所提出的SCConv由两个单元组成：空间重构单元（SRU）和通道重构单元（CRU）。
CVPR 2023 | SCConv: 即插即用的空间和通道重建卷积
Paper weekly
09-18 3031
©作者 |玉米爆米花介绍本文作者提出了一种名为 SCConv（Spatial and Channel reconstruction Convolution，空间和通道重建卷积）的卷积模块，目的是减少卷积神经网络中特征之间的空间和通道冗余，从而压缩 CNN 模型并提高其性能。论文地址：https://openaccess.thecvf.com/content/CVPR2023/papers/Li_...
YOLOv11 改进策略 | CVPR-2023 SCConv：空间和通道重建卷积
走向CTO的路上...
04-26 1404
卷积神经网络（CNN）在各种视觉任务中取得了巨大成功，但其核心操作——标准卷积——存在计算冗余的问题。这种冗余体现在空间维度（相邻像素的特征相似）和通道维度（不同通道的特征高度相关）。为了构建更高效的模型，研究人员提出了深度可分离卷积、组卷积等轻量化方法，但这些方法有时会牺牲部分特征表达能力。
MATLAB设计与实现基于MEMS的机械听诊器.zip
12-16
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
大学怎样利用科易网18年经验优化本校转化路径？.docx
12-16
大学怎样利用科易网18年经验优化本校转化路径？
高校如何设置转化人才职称评审的破格条件？.docx
12-16
高校如何设置转化人才职称评审的破格条件？
【RIS 辅助的 THz 混合场波束斜视下的信道估计与定位】在混合场波束斜视效应下，利用太赫兹超大可重构智能表面感知用户信道与位置（Matlab代码实现）
12-16
【RIS 辅助的 THz 混合场波束斜视下的信道估计与定位】在混合场波束斜视效应下，利用太赫兹超大可重构智能表面感知用户信道与位置（Matlab代码实现）内容概要：本文围绕“IS 辅助的 THz 混合场波束斜视下的信道估计与定位”展开，重点研究在太赫兹（THz）通信系统中，由于混合近场与远场共存导致的波束斜视效应下，如何利用超大可重构智能表面（RIS）实现对用户信道状态信息和位置的联合感知与精确估计。文中提出了一种基于RIS调控的信道参数估计算法，通过优化RIS相移矩阵提升信道分辨率，并结合信号到达角（AoA）、到达时间（ToA）等信息实现高精度定位。该方法在Matlab平台上进行了仿真验证，复现了SCI一区论文的核心成果，展示了其在下一代高频通信系统中的应用潜力。; 适合人群：具备通信工程、信号处理或电子信息相关背景，熟悉Matlab仿真，从事太赫兹通信、智能反射面或无线定位方向研究的研究生、科研人员及工程师。; 使用场景及目标：① 理解太赫兹通信中混合场域波束斜视问题的成因与影响；② 掌握基于RIS的信道估计与用户定位联合实现的技术路径；③ 学习并复现高水平SCI论文中的算法设计与仿真方法，支撑学术研究或工程原型开发； 阅读建议：此资源以Matlab代码实现为核心，强调理论与实践结合，建议读者在理解波束成形、信道建模和参数估计算法的基础上，动手运行和调试代码，深入掌握RIS在高频通信感知一体化中的关键技术细节。
算法设计贪心算法典型应用：硬币找零、船只装载与会场安排问题求解
最新发布
12-16
内容概要：本文档为《算法分析与设计》第七章的习题解答，主要涉及贪心算法的应用。文档中包含了多道习题的代码实现与运行结果，重点展示了三个典型贪心问题的解决方案：最少硬币找零问题（使用面额1,2,5,10,50,100进行最优组合）、过河问题中在限定船只承重条件下最小化所需船只数量的分配策略，以及基于活动安排的最少会场个数问题（通过按结束时间排序并选择兼容活动来优化资源使用）。每道题目均附有C++实现代码、输入输出示例及程序执行结果。; 适合人群：具备基本数据结构与算法基础，正在学习算法设计与分析的计算机相关专业学生或初级开发者；适合准备算法面试或练习编程竞赛的学习者； 使用场景及目标：①理解贪心策略在实际问题中的应用，如找零、资源调度和任务安排；②掌握贪心算法的核心思想——局部最优导致全局最优，并通过编码实践加深对排序、循环、条件判断等控制结构的综合运用能力；③用于课程作业参考、算法训练及面试准备； 阅读建议：建议结合代码与题目背景独立思考解题思路，尝试手动模拟算法流程，并在本地环境中调试运行代码以深入理解贪心选择性质和算法正确性。
十二星座网站源码.zip
12-16
先展示下效果 https://pan.quark.cn/s/cde20a02eb4a 此项目为 Hello.com 官网源码 Hello 分享 上有趣、入门级的开源项目。 简介 本项目采用：Python + Flask + MySQL + Redis 构建。 既然网站内容是开源项目推荐，那么索性就把代码也开源了。 重构中... 运行 下载： 部署环境：切换到项目目录，执行 安装依赖 运行： - 第一种： - 第二种： 项目结构 声明 本作品采用 署名-非商业性使用-禁止演绎 4.0 国际 进行许可。 联系我
大学如何建立_导向研发_阶段的用户反馈闭环？.docx
12-16
大学如何建立_导向研发_阶段的用户反馈闭环？
中国统计NJ数据-主要海洋灾害情况(2024年).xlsx
12-16
中国统计NJ数据-主要海洋灾害情况(2024年).xlsx
SCConv：即插即用的高效卷积模块，减少冗余计算并提升特征学习 详细介绍SCConv，尤其是其中涉及的公式
02-28
<think>嗯，用户让我详细介绍SCConv，特别是涉及的公式。首先，我需要确认SCConv是什么。根据用户提供的信息，这是一个即插即用的高效卷积模块，用于减少冗余计算并提升特征学习。我需要先回忆一下相关论文或者资料。 SCConv的全称是Spatial and Channel Reconstruction Convolution，应该是在卷积神经网络中同时考虑空间和通道的冗余，通过重构来减少计算量。可能包括两个部分：空间重构和通道重构模块。接下来需要分解这两个模块的工作原理。 然后，用户提到要详细介绍其中的公式。我需要确保正确理解每个公式的含义，比如空间重构模块SRM和通道重构模块CRM的结构。可能涉及到的操作如分组卷积、全局平均池化、全连接层、sigmoid激活函数等。需要检查每个步骤的数学表达是否正确，比如如何计算空间权重和通道权重，以及如何将它们结合起来。 另外，用户希望用中文回答，并且符合LaTeX格式要求。要注意行内公式用$...$，独立公式用$$...$$，并且结构清晰。可能需要分步骤解释，比如先介绍整体结构，再分述SRM和CRM，最后整合部分。 还要注意用户可能的深层需求，比如他们可能是在寻找一种有效的卷积模块来优化自己的模型，或者在比较不同注意力机制的区别。因此，在解释时要强调SCConv的优势，如减少冗余、即插即用、计算高效等，以及如何在实际中应用。 现在，需要组织内容：先概述SCConv的作用和结构，然后分别详细讲解SRM和CRM的公式，最后描述整合过程。确保每个公式正确无误，并且用中文解释清楚每个步骤的意义。例如，在SRM中，使用分组卷积和归一化生成空间权重，然后与输入相乘；在CRM中，通过全局池化和全连接层生成通道权重，再调整通道数。最后，整合两个模块的输出，得到最终特征。 需要验证一下每个公式的符号是否正确，比如分组数g，激活函数的使用，以及如何结合空间和通道权重。可能还需要引用一些对比实验的结果，比如在ResNet上的应用效果，但用户主要关注的是结构和公式，所以这部分可以简要提及。 最后，确保回答结构清晰，分点解释，公式正确使用LaTeX格式，并且语言流畅，符合中文表达习惯。</think>SCConv（Spatial and Channel Reconstruction Convolution）是一种即插即用的高效卷积模块，通过**空间重构**和**通道重构**减少特征冗余，提升特征表达能力。其核心思想是：**对冗余特征进行压缩-重建，保留有效信息并抑制噪声**。以下是技术细节与公式详解： --- ### **一、整体结构** SCConv由两个子模块构成： 1. **空间重构模块（SRM）**：定位重要空间区域 2. **通道重构模块（CRM）**：筛选关键通道信息 流程为：输入特征 → SRM → CRM → 输出特征 $$X_{out} = \text{CRM}(\text{SRM}(X_{in}) \otimes X_{in})$$ 其中$\otimes$表示逐元素乘法。 --- ### **二、空间重构模块（SRM）** **目标**：生成空间权重矩阵，突出重要区域 1. **分组归一化**：将输入$X_{in} \in \mathbb{R}^{C×H×W}$沿通道分为$g$组 $$X_g = \text{GroupNorm}(X_{in}, g)$$ 2. **空间权重生成**： - 通过1×1卷积压缩通道 → ReLU激活 → 1×1卷积恢复通道 $$W_s = \sigma( \text{Conv}_{1×1}( \text{ReLU}( \text{Conv}_{1×1}(X_g) )) )$$ 其中$\sigma$为Sigmoid函数，输出$W_s \in \mathbb{R}^{1×H×W}$ 3. **特征加权**： $$X_{srm} = W_s \otimes X_{in}$$ --- ### **三、通道重构模块（CRM）** **目标**：动态调整通道维度，抑制冗余通道 1. **通道压缩**： - 全局平均池化（GAP）获取通道统计量 $$z = \text{GAP}(X_{srm}) \in \mathbb{R}^C$$ 2. **通道权重生成**： - 全连接层降维 → ReLU → 全连接层恢复维度 → Sigmoid $$W_c = \sigma( \mathbf{W}_2 ( \text{ReLU}( \mathbf{W}_1 z )) )$$ 其中$\mathbf{W}_1 \in \mathbb{R}^{C/r×C}$，$\mathbf{W}_2 \in \mathbb{R}^{C×C/r}$，$r$为压缩比 3. **通道重标定**： $$X_{crm} = W_c \otimes X_{srm}$$ --- ### **四、数学特性分析** 1. **计算效率**： - SRM使用轻量级分组卷积，计算复杂度为$O(gCHW)$，远低于传统注意力机制 - CRM通过GAP和全连接层实现，复杂度仅$O(C^2/r)$ 2. **可解释性**： - 空间权重$W_s$可视化后与物体关键区域高度吻合 - 通道权重$W_c$的分布呈现明显稀疏性（约30%通道被激活） --- ### **五、性能优势** 1. **即插即用**：可直接替换标准卷积，无需调整网络结构 2. **计算高效**：在ResNet-50上仅增加0.02M参数，FLOPs增长<1% 3. **通用性强**：在ImageNet、COCO等数据集上，Top-1精度提升1.2-2.4% --- ### **六、应用示例（PyTorch伪代码）** ```python class SCConv(nn.Module): def __init__(self, C, g=16, r=4): super().__init__() # SRM部分 self.gn = nn.GroupNorm(g, C) self.conv = nn.Sequential( nn.Conv2d(C, C, 1), nn.ReLU(inplace=True), nn.Conv2d(C, 1, 1), nn.Sigmoid() ) # CRM部分 self.fc = nn.Sequential( nn.Linear(C, C//r), nn.ReLU(), nn.Linear(C//r, C), nn.Sigmoid() ) def forward(self, x): # 空间重构 Ws = self.conv(self.gn(x)) x_srm = Ws * x # 通道重构 b, c, _, _ = x.size() z = x_srm.mean([2,3]) Wc = self.fc(z).view(b,c,1,1) return Wc * x_srm ``` SCConv通过**联合优化空间-通道维度**的冗余特征，在保持计算效率的同时显著提升模型表达能力，是轻量化网络设计的有效工具。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值