分组卷积与dw卷积

最新推荐文章于 2025-04-07 16:13:42 发布

原创最新推荐文章于 2025-04-07 16:13:42 发布 · 3.5k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #cnn #神经网络

深度学习专栏收录该内容

7 篇文章

订阅专栏

分组卷积（Group Convolution）

分组卷积在ResNext中用到了

首先必须明确：
常规卷积（Convolution）的参数量是：

K*K*C_in*n
K是卷积核大小，C_in是input的channel数，n是卷积核个数(output的channel数)

分组卷积的参数量是：

K*K*C_in*n*1/g
K是卷积核大小，C_in是input的channel数，n是卷积核个数(output的channel数)，g是分组数

在这里插入图片描述

分组卷积，输出特征图通道数不需要与输入通道数相同

pytorch的nn.Conv2d中的groups参数代表需要分的组数量，默认值为1（即常规卷积）

深度可分离卷积Depthwise Separable Conv等价于

DW(Depthwise Convolution)卷积+PW(Pointwise Conv) 卷积

DW卷积也叫做可分离卷积，DW+PW的组合在MobileNet中使用了

depthwise convolution: 卷积是在二维平面进行的，一个卷积核对应一个通道，输出通道数等于输入通道数

DW卷积的参数量是：

K*K*C_in (此时C_in = n)
K是卷积核大小，C_in是input的channel数，DW卷积中，卷积核个数与input的channel数相同

PW卷积的参数量是：

1*1*C_in*n 
PW卷积的卷积核为1*1大小，C_in是input的channel数，n是卷积核个数(output的channel数)

在这里插入图片描述

总结

分组卷积的参数量是常规卷积（Convolution）参数量的1/g, 其中g是分组数
DW卷积的参数量是常规卷积（Convolution）参数量的1/n, 其中n是卷积核个数
当分组卷积中的g=C_in, n=C_in时，DW==分组卷积

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ab0902cd

关注关注

1
点赞
踩
22

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

YOLOv8改进 | 卷积模块 | 用DWConv卷积替换Conv【轻量化网络】

kay_545

05-18

5389

YOLOv8改进，yolov8，yolov8创新，yolov8涨点

分组卷积

maqian5的博客

07-10

625

分组卷积在AlexNet中提到，下面是AlexNet前两层的卷积，其中第一层没有使用分组卷积，第二层使用了分组卷积。在进行分析之前，先插入一个知识点“卷积/池化之后的维度计算” 输入：[in_hight, in_width, in_channal] 卷积操作：卷积核：[filter_height,filter_width, in_channel, out_channel] 步长：...

参与评论您还未登录，请先登录后发表或查看评论

Depthwise卷积与Pointwise卷积

热门推荐

干巴他爹的小本本

08-12

13万+

Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution(参见Google的Xception)，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。常规卷积操作对于一张5×5像素、三通道彩色输入图片（shape为...

分组卷积与DW卷积

yzy的博客

08-01

5522

分组卷积不考虑权重项的话，常规卷积的参数量是：若分组数为G，则分组卷积的参数量是：即分组卷积可将参数量减小为原来的1/G。 pytorch的nn.Conv2d中的groups参数代表需要分的组数量，默...

分组卷积/转置卷积/空洞卷积/反卷积/可变形卷积/深度可分离卷积/DW卷积/Ghost卷积/

YOLOv8项目贡献者

09-15

6629

汇总一些卷积操作

DW卷积、PW卷积、转置卷积、膨胀卷积（空洞卷积）、可变形卷积一次看个够

HHHAOA的博客

11-05

8340

DW卷积操作中，每一个卷积核是只负责一个通道的，这与普通卷积一个卷积核负责几个通道是不一样的。比如一个5*5*3的彩色图片作为输入，使用普通卷积那么卷积核就可以设置为3*3*n（n为输出通道数），而DW卷积则为3*3*3（卷积核的数量要与输入通道数量一致），所以一个卷积核只能负责一个通道。转置卷积也被人叫做反卷积或者逆卷积，其实正确的叫法就是转置卷积，并不是卷积之后通过转置卷积再得到原来的特征图，转置卷积所得到的上采样特征图中的数值与原特征图并不一样，所以反卷积或者逆卷积的叫法是不好的。

深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积）卷积中的不一样的操作

生活需要深度

07-19

1083

AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。图来自微软亚洲研究院公众号要做到这个操作，可以直接在原来的过滤器前面再加一层过滤器，这层过滤器学习的是下一层卷积核的位置偏移量（offset），这样只是增加了一层过滤器，或者直接把原网络中的某一层过滤器当成学习offset的过滤器，这样实际增加的计算量是相当少的，但能实现可变形卷积核，识别特征的效果更好。

分组卷积，分离卷积

shuijinghua的博客

04-11

5379

参考网址：https://blog.youkuaiyun.com/mmc2015/article/details/77745768 一、分组卷积 Group convolution Group convolution 分组卷积，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多...

神经网络与深度学习期末复习（2）---卷积神经网络扩展机制

m0_62881487的博客

03-27

1731

1. 分组卷积（Group convolution ）最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此把特征图分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。2. 一般的卷积会对输入数据的整体一起做卷积操作。而组卷积则是在深度上进行划分，即某几个通道编为一组，对输入数据做组合卷积操作。1. 在深度可分离卷积（depthwise separable convolution）中，通常将卷积操作拆分成多个步骤。

深度可分离卷积&&组卷积

weixin_43921949的博客

10-07

1862

深度可分离卷积核组卷积记录

深度学习—各种卷积

m0_47005029的博客

03-01

2982

深度学习之各种卷积了解知识

普通卷积、Depthwise(DW)卷积、Pointwise(PW)卷积、Atrous卷积

千羽的计算机视觉与机器人

03-28

7454

转发自：https://blog.youkuaiyun.com/T_J_S/article/details/94629637 普通卷积 Depthwise(DW)卷积不同于常规卷积操作，Depthwise Convolution的一个卷积核负责一个通道，一个通道只被一个卷积核卷积。上面所提到的常规卷积每个卷积核是同时操作输入图片的每个通道。同样是对于一张5×5像素、三通道彩色输入图片（shape为5×5...

卷积中的分组卷积

kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程

12-07

619

左边是正常卷积，右边是分组卷积。

分组卷积（Group Converlution）

xu.hyj

07-24

4670

分组卷积及pytorch实现

关于分组卷积

最新发布

qq_45670407的博客

04-07

939

关于深度学习中的分组卷积

self.g1 = nn.Conv2d(c_, c_//4, 3, 1, 1, groups=c_//4) 分组卷积好处

03-28

<think>好的，用户让我介绍一下`self.g1 = nn.Conv2d(c_, c_//4, 3, 1, 1, groups=c_//4)`这行代码中使用分组卷积的好处。首先，我需要理解这行代码的具体参数和结构。这里的输入通道是`c_`，输出通道是`c_//4`，卷积核大小3x3，步长1，填充1，分组数为`c_//4`。也就是说，分组数等于输出通道数，这看起来像是深度可分离卷积中的深度卷积部分。接下来，用户可能对分组卷积的优势不太清楚，需要详细解释。分组卷积的主要好处包括减少参数量和计算量，提高模型效率，同时可能促进特征多样性。但需要具体分析在这个例子中如何体现这些优势。首先，常规卷积的参数量是`(c_in * c_out * k * k)`，这里输入通道是`c_`，输出是`c_//4`，分组数是`c_//4`，所以每个组的输入通道数是`c_ / (c_//4) = 4`，输出通道数是1。因此，每个组的参数量是`4 * 1 * 3 * 3`，总参数量是`(c_//4) * 4 * 1 * 3 * 3 = c_ * 3 * 3`，而常规卷积的话参数量是`c_ * (c_//4) * 3 * 3`，明显分组卷积的参数量更少，只有原来的`1/(c_//4)`。但这里可能需要注意，当分组数等于输出通道数时，每个组的输出通道数是1，输入通道数是`c_ / groups`，即这里可能输入通道是每个组有4个输入通道，输出1个通道，这样总参数量确实减少了。然后，计算量方面，分组卷积的FLOPs是`H * W * (c_in/groups) * c_out * k * k`，这里输入是`c_`，输出是`c_//4`，groups是`c_//4`，所以计算量是`H * W * (c_/(c_//4)) * (c_//4) * 3*3`，即`H*W*4*c_//4*9`，等于`H*W*9*c_`，而常规卷积是`H*W*c_*(c_//4)*9`，所以计算量减少了大约`c_//4`倍，这对于模型效率提升很重要。另外，分组卷积还能促进不同组学习不同的特征，可能增强模型的表达能力。但需要指出，如果分组数过多，可能导致每组的信息过于局限，可能影响模型性能，需要平衡。用户可能是在阅读某个模型的代码时遇到了这个结构，想了解为什么使用分组卷积，以及这样设计的好处。可能的场景是轻量化模型设计，比如MobileNet或类似的高效网络结构，其中分组卷积被广泛使用来减少参数量和计算量，同时保持一定的性能。另外，用户可能对分组卷积的具体应用场景和潜在问题不太清楚，需要进一步解释。比如，分组卷积可能导致特征交互减少，但在这里结合其他结构（如后续的1x1卷积进行通道混合）可能弥补这一缺点，形成深度可分离卷积的结构，从而在减少计算量的同时保持模型性能。最后，总结分组卷积在这里的好处：减少参数量、降低计算成本、提高模型效率，可能促进特征多样性，适合轻量化模型设计，但需要结合后续的结构来保证特征的有效融合。</think>以下是对代码 `self.g1 = nn.Conv2d(c_, c_//4, 3, 1, 1, groups=c_//4)` 中 **分组卷积（Grouped Convolution）** 的详细解析及其优势说明： --- ### **1. 代码参数解析** - **输入通道数**: `c_` - **输出通道数**: `c_//4` - **卷积核大小**: `3x3` - **步长（Stride）**: `1` - **填充（Padding）**: `1` - **分组数（Groups）**: `c_//4` **关键点**：分组数等于输出通道数（`groups = c_//4`），此时分组卷积退化为 **深度可分离卷积（Depthwise Convolution）** 的第一步操作。 --- ### **2. 分组卷积的核心优势** #### **(1) 显著减少参数量** - **常规卷积的参数量**： $$ \text{Params}_{\text{常规}} = \underbrace{c_{\text{in}}}_{\text{输入通道数}} \times \underbrace{c_{\text{out}}}_{\text{输出通道数}} \times \underbrace{k^2}_{\text{卷积核面积}} $$ 本例中： $$ \text{Params}_{\text{常规}} = c\_ \times (c\_//4) \times 3^2 $$ - **分组卷积的参数量**： $$ \text{Params}_{\text{分组}} = \frac{c_{\text{in}}}{\text{groups}} \times \frac{c_{\text{out}}}{\text{groups}} \times k^2 \times \text{groups} $$ 本例中（`groups = c_//4`）： $$ \text{Params}_{\text{分组}} = \frac{c\_}{c\_//4} \times \frac{c\_//4}{c\_//4} \times 3^2 \times c\_//4 = 4 \times 1 \times 9 \times c\_//4 = 9c\_ $$ **参数量减少比例**： $$ \frac{\text{Params}_{\text{分组}}}{\text{Params}_{\text{常规}}} = \frac{9c\_}{c\_ \times (c\_//4) \times 9} = \frac{4}{c\_} $$ **意义**：参数量大幅降低，尤其当输入通道数 `c_` 较大时（例如 `c_=512`，参数量减少到常规卷积的约 **1/128**）。 --- #### **(2) 降低计算成本（FLOPs）** - **常规卷积的FLOPs**： $$ \text{FLOPs}_{\text{常规}} = H \times W \times c_{\text{in}} \times c_{\text{out}} \times k^2 $$ 本例中： $$ \text{FLOPs}_{\text{常规}} = H \times W \times c\_ \times (c\_//4) \times 9 $$ - **分组卷积的FLOPs**： $$ \text{FLOPs}_{\text{分组}} = H \times W \times \frac{c_{\text{in}}}{\text{groups}} \times \frac{c_{\text{out}}}{\text{groups}} \times k^2 \times \text{groups} $$ 本例中： $$ \text{FLOPs}_{\text{分组}} = H \times W \times 4 \times 1 \times 9 \times c\_//4 = H \times W \times 9c\_ $$ **计算量减少比例**： $$ \frac{\text{FLOPs}_{\text{分组}}}{\text{FLOPs}_{\text{常规}}} = \frac{9c\_}{c\_ \times (c\_//4) \times 9} = \frac{4}{c\_} $$ **意义**：计算效率提升显著，适合移动端或实时场景。 --- #### **(3) 特征解耦与多样性** - **每组独立学习特征**：输入通道被分为 `c_//4` 组，每组仅处理 `4` 个输入通道，强制网络从不同子空间学习特征。 - **缓解过拟合**：参数共享减少，降低了模型对训练数据中噪声的敏感性。 --- ### **3. 典型应用场景** #### **(1) 轻量化网络设计** - **MobileNet系列**：通过深度可分离卷积（分组卷积 + 逐点卷积）构建高效模型。 - **ShuffleNet系列**：结合分组卷积与通道重排（Channel Shuffle）增强特征交互。 #### **(2) 多分支特征融合** - **ResNeXt**：使用分组卷积实现“多路径”特征提取，提升模型表达能力。 --- ### **4. 潜在问题与改进** #### **(1) 特征交互受限** - **问题**：分组卷积限制了通道间的信息流动，可能丢失全局相关性。 - **改进**：后续添加 **逐点卷积（1×1卷积）** 恢复通道交互，例如： ```python self.g1 = nn.Conv2d(c_, c_//4, 3, 1, 1, groups=c_//4) # 分组卷积 self.conv1x1 = nn.Conv2d(c_//4, c_//4, 1) # 逐点卷积融合通道 ``` #### **(2) 组数过多导致性能下降** - **问题**：若分组数过大（如 `groups = c_//4` 且 `c_` 较小时），每组通道过少，特征提取能力受限。 - **改进**：限制分组数（例如 `groups=8`）或采用动态分组策略。 --- ### **5. 完整代码示例** ```python import torch.nn as nn class LightweightBlock(nn.Module): def __init__(self, c_in): super().__init__() # 分组卷积（深度卷积） self.dw_conv = nn.Conv2d( c_in, c_in // 4, kernel_size=3, stride=1, padding=1, groups=c_in // 4 # 分组数 = 输出通道数 ) # 逐点卷积恢复通道交互 self.pw_conv = nn.Conv2d(c_in // 4, c_in // 4, kernel_size=1) def forward(self, x): x = self.dw_conv(x) # 分组卷积提取空间特征 x = self.pw_conv(x) # 1x1卷积融合通道信息 return x ``` --- ### **6. 总结** - **核心优势**：参数量和计算量显著降低，适合资源受限场景。 - **设计本质**：通过分组实现特征解耦，结合后续操作（如1×1卷积）平衡效率与性能。 - **典型应用**：轻量化模型（MobileNet、EfficientNet）、多分支结构（ResNeXt）。