卷积操作中的group

最新推荐文章于 2024-11-08 09:15:53 发布
最新推荐文章于 2024-11-08 09:15:53 发布
阅读量2.2k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： pytorch的使用 深度学习 文章标签： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weijie_home/article/details/104840190

group参数，其意思是将对应的输入通道与输出通道数进行分组卷积处理, 默认值为1。

  • 比如输入数据为B*Cin*H*W, 卷积核配置为 Cout 3*3  group：
  • group=1，即我们常用的全连接的卷积，对输入的全部Cin个通道与输出的Cout通道全卷积
  • group=2，将输入的Cin通道分成2个（Cin/2）通道，输出的Cout通道分成2个（Cout/2）通道；第一个Cin/2通道与Cout/2通道全卷积，第二个Cin/2通道与Cout/2通道全卷积
  • 以此类推
  • 极端情况，Cin=Cout=group，每个输入通道与对应输出通道卷积，记为channel-wise卷积， 又称为    逐通道卷积。

 

Xception利用的深度可分离卷积：

（1）先进行逐通道的空间卷积:  Cin=Cout=group  kernel size=3

（2）再进行1×1 的跨通道卷积： group=1  kernel size=1

深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现
weixin_30793735的博客
03-30 2万+
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...
CNN中的Group&&Depthwise&&pointerwise卷积
weixin_42631693的博客
04-26 660
文章目录分组卷积(Group Convolusion)常规卷积vs分组卷积Depthwise卷积Pointerwise卷积深度可分离卷积参考 分组卷积(Group Convolusion) 提到分组卷积，我们最开始应该想到是大名鼎鼎的Alexnet.Alexnet最先用到了分组卷积，由于计算资源的有限，它将网络分成两部分，从而能够在两个GPU上并行运行。如图所示： 我们来具体看下,分组卷积是如何...
卷积层中的 group 参数理解
Right here, Code is Magic
12-20 9831
卷积层中 group 参数理解 Convolution 层的参数中有一个group参数，其意思是将对应的输入通道与输出通道数进行分组, 默认值为1, 也就是说默认输出输入的所有通道各为一组. 比如输入数据大小为 90x100x100x32 90是数据批大小 100x100是图像数据shape，32是通道数，要经过一个3x3x48的卷积，group默认是1，就是全连接的卷积层， 如果group是2...
Group 卷积
@bangbang的博客
07-16 501
PyTorch中若想使用分组卷积，只需要在nn.Conv2d网络结构定义时指定groups即可。
卷积神经网络group群卷积以及group lasso
weixin_42071277的博客
04-09 4502
一、group（群卷积） group（群卷积）的思想最早出现于Alexnet论文：ImageNet Classification with Deep Convolutional Neural Networks，Alex之所以使用群卷积是因为受当时GTX580 GPU现存的限制，不能使用一块GPU训练网络，所以其将网络拆分为两组分别使用1个GPU训练。 如下所示为一个常规的卷积操作 ...
group卷积
u010848594的博客
06-06 347
平常的卷积默认不带有group卷积，或者是group为1，带有group以后，对于输出tensor不再依赖完整的输入了，而只依赖所在分组的输入，这样便可以将原本的计算量压缩到原来的group分之1，但是带来的缺陷是卷积输入信息不完整了，做group相对于不做group会获取更少的信息，特征就没那么丰富了，为了弥补这个，我们可以在后续接上1*1的group=1的卷积做group间的信息交流，这样的话，原本的一个卷积的计算量假如是X(假设原本为3*3的卷积)，使用group后计算量降为X/group，接下来需要
[论文理解]群卷积神经网络Group Equivariant Convolutional Networks（G-CNN）
bxdzyhx的博客
11-18 9434
仿照了这个博主的方法，读每一篇文献的时候都要问自己 它做了什么？用什么方法做的？效果如何？有什么缺点？ 这些几个问题，以加深自己的理解。 1. 几个问题 做了什么 提出了群等变卷积神经网络（Group equivariant Convolutional Neural Networks，G-CNNs)，通过采取对称性减低了采样复杂度。 G-CNN将CNN对平移群的等变性（下文会解释）推广到更大的对称群，包括旋转和反射。 特点/优点 比常规卷积层有更高的权重共享程度。 卷积层易于使用，对于由平移、反射和旋
卷积操作及其变体
hzhj的博客
02-17 997
受变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作文章的启发，我们从卷积操作本身进一步进行理解。下图方便直观理解标准的卷积过程。 图片来自这里 卷积核的维度由四个参数决定：输入特征图的通道数、滤波器的高度、滤波器的宽度和输出特征图的通道数。如下通过对这四个参数本身或者参数之间的关联方式来见证奇迹的发生。ps:输入通道数和输出通道数本身数值并不会发生改...
深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作
生活需要深度
07-19 1044
AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。图来自微软亚洲研究院公众号要做到这个操作，可以直接在原来的过滤器前面再加一层过滤器，这层过滤器学习的是下一层卷积核的位置偏移量（offset），这样只是增加了一层过滤器，或者直接把原网络中的某一层过滤器当成学习offset的过滤器，这样实际增加的计算量是相当少的，但能实现可变形卷积核，识别特征的效果更好。
【卷积基础】CNN中一些常见卷积（1*1卷积、膨胀卷积、组卷积、深度可分离卷积）
CV在读
11-08 2917
参考：，也称为 1x1 卷积，是一种特殊的卷积操作，其中卷积核的大小为 1x1。这种卷积操作不会覆盖空间维度（height 和 width），而是只作用于每个位置上的所有通道，这使得逐通道卷积主要用于。
group convolution (分组卷积)详解
热门推荐
源仔
02-26 2万+
文章目录【普通卷积】【group convolution (分组卷积)】【深度可分离卷积】 【普通卷积】 上图为普通卷积示意图，为方便理解，图中只有一个卷积核，此时输入 输出数据为：输入feature map尺寸：W×H×CW×H×CW×H×C ，分别对应feature map的宽，高，通道数； 单个卷积核尺寸：k×k×Ck×k×Ck×k×C ，分别对应单个卷积核的宽，高，通道数； 输出feature map尺寸 ：W′×H′W'×H'W′×H′ ，输出通道数等于卷积核数量，输出的宽和高与卷积步长有关，
【深度学习】Group Convolution分组卷积、Depthwise Convolution和Global Depthwise Convolution
chen1234520nnn的博客
08-26 1万+
目录 1. 分组卷积(Group Convolution) 1.1 分组卷积与普通卷积的区别 1.2 分组卷积的用途 2. 深度分离卷积(Depthwise Convolution) 原文链接：https://www.cnblogs.com/shine-lee/p/10243114.html 本文主要介绍减少参数量、计算量的卷积形式： Group Convolution(分组卷积) Depthwise Convolution(深度分离卷积) Global Depthwise Convolu
【 group convolution (分组卷积)详解】
weixin_49117441的博客
01-23 9062
@[TOC]( group convolution (分组卷积)详解) group convolution (分组卷积)详解 1.普通卷积： 上图为普通卷积示意图，为方便理解，图中只有一个卷积核，此时输入输出数据为： 输入feature map尺寸： W×H×C ，分别对应feature map的宽，高，通道数； 单个卷积核尺寸： k×k×C ，分别对应单个卷积核的宽，高，通道数； 输出feature map尺寸 ：W’×H’ ，输出通道数等于卷积核数量，输出的宽和高与卷积步长有关，这里不关心这两个值
深度学习基础--卷积--group conv
wydbyxr的博客
11-15 1436
group conv   在Xception、ResNext、Mobilenet、shufflenet中都有。 作用   group convolution还是很有用的，比如训练人脸的五官，五个是不同的东西，特征不同，分5个group就可以分开学，相当方便。   实现locally share的convolution layer的时候能用上。 ...
pytorch卷积操作nn.Conv中的groups参数用法解释
胖胖大海的博客
11-13 1万+
最近在项目中使用到了MobileNet分类网络，MobileNet网络中使用到了深度可分离卷积操作，深度可分离卷积将传统卷积操作分成两步来处理。假设输入的特征图feature_map大小为[H, W, C]，深度可分离卷积第一步使用C组NxNx1的卷积核对每个输入通道in_channel进行卷积，卷积输出结果特征图feature_map大小为[H, W, C]，然后使用M和1x1xC的卷积核进行卷积操作，输出的特征图大小为[H, W, M]。深度可分离卷积的目的是减少卷积操作的参数量和计算量，从而提升运算速
Group Convolution(分组卷积）
m0_37400316的博客
07-22 244
1、 Group Convolution Convolution VS Group Convolution： 2、depthwise Convolution ----待续 参考文献： https://www.cnblogs.com/shine-lee/p/10243114.html
分组卷积/群卷积（Group Convolution）
SimonChen
10-03 1346
群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果。 https://blog.youkuaiyun.com/hhy_csdn/article/details/80030468 ...
卷积网络基础知识---Group Convolution分组卷积
AI小作坊 的博客
06-04 9849
Group Convolution分组卷积，以及Depthwise Convolution和Global Depthwise Convolution https://www.cnblogs.com/shine-lee/p/10243114.html 写在前面 Group Convolution分组卷积，最早见于AlexNet——2012年Imagenet的冠军方法，Group Convolutio...
Conv2d中的groups参数（分组卷积）怎么理解？ 【分组卷积可以减少参数量、且不容易过拟合（类似正则化）】
Drug discovery
01-11 1万+
关于Conv2d的用法先看以下链接：Conv2d_马鹏森的博客-优快云博客 注意：首先需要知道的是groups的值必须能整除in_channels和out_channels 前置知识：卷积参数量的计算公式是：（输入通道数 * 输出通道数 * k^2 ）/ groups 了解分组卷积对输入通道数的影响： 1.当设置group=1时： conv = nn.Conv2d(in_channels=6, out_channels=6, kernel_size=1, groups=1) conv.wei.
GroupConv分组卷积
最新发布
03-14
<think>好的，我需要回答用户关于GroupConv分组卷积的实现原理的问题。首先，我得回顾一下自己已有的知识，并参考提供的引用资料，确保信息准确。 用户提到的引用中，引用[1]到[4]都涉及分组卷积的相关内容。我需要结合这些资料，整理出分组卷积的基本概念、与普通卷积的区别、具体实现方式以及优势。需要注意的是，用户可能对技术细节感兴趣，比如参数设置、计算量减少的原因等。 首先，分组卷积的定义。根据引用[1]和[4]，分组卷积是将输入通道分成多个组，每个组独立进行卷积操作，之后将结果拼接。这和普通卷积所有通道一起处理不同。例如，输入通道为C，分成G组，每组处理C/G个通道，这样每个卷积核的参数会减少。 接下来，实现原理。引用[2]提到在PyTorch中使用nn.Conv2d并设置groups参数，这是关键。需要说明如何在代码中实现，比如输入输出通道数必须能被组数整除。引用[4]中的例子，输入是(10,7,7)，用3x3的卷积核，输出是(20,5,5)，这时分组卷积的处理方式。 然后，计算量的减少。普通卷积的参数量是C_in * C_out * K * K，而分组卷积则是G * (C_in/G) * (C_out/G) * K * K)，总参数量为原来的1/G。引用[3]提到计算并行度的提升，这也是分组卷积的优势之一。 另外，需要提到深度可分离卷积作为分组卷积的特例，当分组数等于输入通道数时，每个通道单独处理，然后逐点卷积合并。这可能帮助用户理解更深层次的应用。 最后，应用场景和优势，如减少过拟合、加速训练、模型轻量化（如MobileNet）。这部分引用[1]和[3]中的内容，说明其在实际中的作用。 在整理这些点时，要确保逻辑清晰，分点说明，并自然地插入引用标记。同时，生成的相关问题需要与分组卷积相关，引导用户进一步探索。</think>### GroupConv分组卷积的实现原理 #### 1. 基本概念 **分组卷积（Group Convolution）** 是一种通过将输入特征图的通道划分为多个组，并在每个组内独立进行卷积操作的方法。其核心思想是通过分组减少参数量和计算量，同时提升并行计算效率[^1][^3]。 #### 2. 与普通卷积的区别 - **普通卷积**：所有输入通道共同参与单个卷积核的计算。假设输入通道数为$C_{\text{in}}$，输出通道数为$C_{\text{out}}$，卷积核大小为$K \times K$，则参数量为$C_{\text{in}} \times C_{\text{out}} \times K \times K$[^4]。 - **分组卷积**：将输入通道划分为$G$组，每组独立进行卷积操作。每组输入通道数为$C_{\text{in}} / G$，输出通道数为$C_{\text{out}} / G$，总参数量为$G \times (C_{\text{in}} / G) \times (C_{\text{out}} / G) \times K \times K$，即**普通卷积的$1/G$**[^4]。 #### 3. 实现方式 在深度学习框架中（如PyTorch），分组卷积可通过设置`groups`参数实现： ```python import torch.nn as nn group_conv = nn.Conv2d(in_channels=64, out_channels=64, kernel_size=3, groups=4) ``` - **条件**：输入通道数`in_channels`和输出通道数`out_channels`必须能被`groups`整除[^2]。 - **过程**：输入特征图按通道分为$G$组，每组单独卷积后，将结果拼接得到最终输出[^4]。 #### 4. 优势 - **减少参数量**：参数量降低为普通卷积的$1/G$，适合轻量化模型（如MobileNet）。 - **提升并行性**：各组可并行计算，加速训练和推理。 - **增强特征多样性**：分组后不同组可能学习到互补的特征[^4]。 #### 5. 与深度可分离卷积的联系 当分组数$G$等于输入通道数$C_{\text{in}}$时，分组卷积退化为**深度卷积（Depthwise Convolution）**，即每个通道单独处理，再通过$1 \times 1$卷积（逐点卷积）融合通道信息。这是MobileNet等轻量模型的核心模块[^1]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值