分组卷积or群卷积的一些事情

最新推荐文章于 2025-07-01 16:07:56 发布
最新推荐文章于 2025-07-01 16:07:56 发布
阅读量1.6k 收藏 1
点赞数
CC 4.0 BY-SA版权
文章标签： cnn 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Magic_o/article/details/121792589
本文探讨了卷积神经网络中分组卷积的概念，它将输入通道分成多个组，每个组独立进行卷积操作，然后将结果合并。这种方式可以减少计算复杂度，但可能损失部分模型表达能力。核心要点是分组数需整除输入和输出通道数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述
选自此链接
我们假设上一层的输出feature map有N个，即通道数channel=N，也就是说上一层有N个卷积核。再假设群卷积的群数目M。那么该群卷积层的操作就是，先将channel分成M份。每一个group对应N/M个channel，与之独立连接。然后各个group卷积完成后将输出叠在一起（concatenate），作为这一层的输出channel。核心是对channel进行分组。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
groups的值必须能整除in_channels，groups的值也必须能整除out_channels
在这里插入图片描述
在这里插入图片描述
分组卷积的坏处

Magic_o
关注
分组卷积和深度可分离卷积
qq_40107571的博客
07-20 1009
分组卷积最早开始于，主要为了解决单个GPU无法处理含有大量计算量和存储需求的卷积层这个问题。目前，分组卷积多被用于构建用于移动设备的轻量级网络模型。例如深度可分离卷积。
计算机视觉卷积神经网络CNN架构设计指南：如何构建高效的视觉模型？
热门推荐
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
04-20 11万+
计算机视觉CNN架构设计指南：如何构建高效的视觉模型？人工智能、大模型、AI、计算机视觉领域，卷积神经网络（Convolutional Neural Network，CNN）已成为主导性的模型架构。从图像分类到目标检测，从语义分割到图像生成，CNN 展现出了强大的性能。构建一个高效的 CNN 视觉模型，不仅需要对其基本原理有深入理解，还需要掌握一系列架构设计技巧。本文将详细探讨如何构建高效的 CNN 视觉模型，涵盖从基础概念到复杂架构设计的各个方面，并通过丰富的代码示例帮助读者更好地理解和实践。
分组卷积/群卷积（Group Convolution）
SimonChen
10-03 1354
群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果。 https://blog.youkuaiyun.com/hhy_csdn/article/details/80030468 ...
AI模型裁剪教程 ：以resent结构为例，裁剪出适合运行在CSK6芯片上的模型
分享AI芯片开发经验
05-06 531
前面文章中介绍了怎么使用LNN工具链在CSK6上运行自己的AI算法，本篇重点讲如何进行合理的模型裁剪，并为您展示真实输入数据下最终推理执行的结果。
实践教程｜基于 pytorch 实现模型剪枝
m0_59596937的博客
08-13 3247
另外，pytorch 框架还提供了一些帮助函数:torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)：用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。
关于图像卷积运算 / 多通道卷积计算 / 反卷积 / 膨胀卷积 / Depthwise卷积 / 群卷积 的概念和计算总结
Francis Liu
01-04 4614
之前面试商汤的时候被问了好几个和卷积有关的概念，有些细节没答上来，所以稍微总结一下一些相关概念； 卷积的计算和作用； 三种卷积运算 Valid / Same / Full 的区别； 多通道卷积 反卷积（转置卷积）的概念和作用； 小数步长卷积 Fractionally Strided Convolution； 膨胀卷积的概念和作用； Depthwise卷积的概念和作用； 卷积，是一种...
深度学习之群卷积（Group Convolution）
hhy_csdn的博客
04-21 4万+
最近在看MSRA的王井东研究员的《Interleaved Group Convolutions for Deep Neural Networks》。论文中多次提到群卷积这个概念，所以特地学习了一下群卷积。 群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少...
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现
weixin_30793735的博客
03-30 2万+
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...
Pytorch 卷积中的 Input Shape用法
12-17
7. `groups`: 分组卷积，将输入通道和输出通道分成若干组，每个卷积核只作用于一组输入通道。默认值为1，表示标准卷积。 8. `bias`: 是否添加偏置项。默认为True。 在描述中提到，`Conv2d`并没有明确指定输入的尺寸...
借鉴resnext分组卷积思想，但不同的是采用1x1卷积核；进行通道清洗，加强通道间的信息流通，提高信息表示能力。
04-01
### ResNeXt 分组卷积与1x1卷积核实现通道清洗的方法 ResNeXt 的核心思想在于通过分组卷积（Group Convolution）来增加网络的宽度并提升其表达能力。具体来说，它利用多个平行分支（cardinality），每个分支执行...
群卷积（Group Convolution）
菜鸟驿站
09-16 9482
最近有看到group convolution，故做个记录。 group convolution 可称为群卷积或者是分组卷积，最早是在AlexNet中出现的。当时由于硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU中处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 我们假设上一层的feature map总共有N个，即通道数...
卷积神经网络的发展及各模型的优缺点
Jeremy_lf的博客
04-14 1万+
前沿 在CV领域，我们需要熟练掌握最基本的知识就是各种卷积神经网络CNN的模型架构，不管我们在图像分类或者分割，目标检测，NLP等，我们都会用到基本的CNN网络架构。 CNN从最初的2012年AlexNet横空出世到2014年VGG席卷世界以及2015年ResNet奠定了该领域的霸主地位，网络模型变得越变越深，而且也得到证明，越深的网络拟合效果越好，但网络相应的参数量计算量都极速增加，不利于技术的...
分组卷积（图文并茂）
weixin_45074568的博客
01-12 6683
分组卷积 Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式（channel sparse connection）。 1、分组卷积的矛盾——计算量 使用group convolution的网络有很多，如Xception，Mo
卷积神经网络group群卷积以及group lasso
weixin_42071277的博客
04-09 4516
一、group（群卷积） group（群卷积）的思想最早出现于Alexnet论文：ImageNet Classification with Deep Convolutional Neural Networks，Alex之所以使用群卷积是因为受当时GTX580 GPU现存的限制，不能使用一块GPU训练网络，所以其将网络拆分为两组分别使用1个GPU训练。 如下所示为一个常规的卷积操作 ...
理解分组卷积与深度可分离卷积
qq_36302589的博客
04-09 3150
这两种卷积分别是在ResNext论文与MobileNet系列中体现的，貌似Xception中也有深度可分离卷积的体现。 作用都很简单，为了降参。 目录 1. 分组卷积 group convolution 2 深度可分离卷积depthwise separable convolution 1. 分组卷积 group convolution 最早出现分组卷积的是AlexNet，说实话网...
深度学习03 人工神经网络ANN
m0_54235621的博客
06-30 927
人工神经网络（ Artificial Neural Network， 简写为ANN）也简称为神经网络（NN）,是一种模仿生物神经网络结构和功能的计算模型,人脑可以看做是一个生物神经网络,由众多的神经元连接而成.各个神经元传递复杂的电信号,树突接收到输入信号,然后对信号进行处理,通过轴突输出信号.当电信号通过树突进入到细胞核时，会逐渐聚集电荷。达到一定的电位后，细胞就会被激活，通过轴突发出电信号。
深度学习进阶：自然语言处理的推荐点评
最新发布
thanklife的专栏
07-01 698
摘要：斋藤康毅的深度学习系列书籍以实践导向著称，通过从底层代码实现的方式帮助读者理解深度学习原理。《深度学习进阶：自然语言处理》重点讲解了RNN、LSTM、Attention等NLP关键技术，强调"凡我不能创造的，我就不能理解"的学习理念。书中详细阐释了词向量、梯度下降、seq2seq等核心概念，并配有完整的代码实现。与其他教程相比，该书对时序数据处理、数据准备等细节讲解尤为清晰，是理解Transformer和现代NLP技术基础的优秀教材，适合具备Python和基础数学知识的读者在1-2
深度学习专栏总结
m0_56691516的博客
06-30 831
本文是从“是什么？为什么？怎么用？”三个方面对深度学习专栏涉及到的知识做出的总结(～￣▽￣)～
门控循环单元（GRU）：LSTM 的轻量级高效 “记忆专家”
LNNNNNNNNLLLL的博客
06-30 443
GRU 就像是神经网络领域里的 “精简版记忆大师”，它继承了 LSTM 处理长序列数据的优势，同时以更简洁的结构和更高的训练效率脱颖而出。GRU 对 LSTM 进行了简化，将遗忘门和输入门合并为一个更新门，同时将细胞状态和隐藏状态进行了合并，使得模型的参数更少、结构更简单，训练速度更快，并且在很多任务上能够取得与 LSTM 相当的效果。门控循环单元（GRU）用精简的结构和高效的运作，证明了在神经网络的世界里，“轻装上阵” 同样可以成为优秀的 “记忆专家”。二、GRU 的结构：双门控的高效运作​。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值