分组卷积or群卷积的一些事情

最新推荐文章于 2025-11-29 15:22:18 发布
原创 最新推荐文章于 2025-11-29 15:22:18 发布 · 1.6k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#cnn #深度学习 #计算机视觉

本文探讨了卷积神经网络中分组卷积的概念，它将输入通道分成多个组，每个组独立进行卷积操作，然后将结果合并。这种方式可以减少计算复杂度，但可能损失部分模型表达能力。核心要点是分组数需整除输入和输出通道数。

在这里插入图片描述
选自此链接
我们假设上一层的输出feature map有N个，即通道数channel=N，也就是说上一层有N个卷积核。再假设群卷积的群数目M。那么该群卷积层的操作就是，先将channel分成M份。每一个group对应N/M个channel，与之独立连接。然后各个group卷积完成后将输出叠在一起（concatenate），作为这一层的输出channel。核心是对channel进行分组。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
groups的值必须能整除in_channels，groups的值也必须能整除out_channels
在这里插入图片描述
在这里插入图片描述
分组卷积的坏处

Magic_o
关注
分组卷积和深度可分离卷积
qq_40107571的博客
07-20 1051
分组卷积最早开始于，主要为了解决单个GPU无法处理含有大量计算量和存储需求的卷积层这个问题。目前，分组卷积多被用于构建用于移动设备的轻量级网络模型。例如深度可分离卷积。
OSNet代码解析（普通卷积，分组卷积，深度可分离卷积，OSblock组成）
Mr_DaYang的博客
06-09 9375
文章目录普通卷积和分组卷积普通卷积和深度可分离卷积用深度可分离卷积（LightConv3x3）代替普通卷积（Conv3x3）减少参数OSBlock （bottleneck）OSNet OSNet之所以轻量(2.2M)在于网络浅，使用深度可分离卷积代替传统卷积，但是很有效 普通卷积和分组卷积 所谓分组卷积，就是右图的input features分成一组一组，如上图groups=3,那么输入的特征分成3组，每组有12/3=4的通道的特征参与输出。然后根据输出通道的维度，得到每组的输入特征要计算两次(6/3=2
分组卷积/群卷积（Group Convolution）
SimonChen
10-03 1436
群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果。 https://blog.youkuaiyun.com/hhy_csdn/article/details/80030468 ...
AI模型裁剪教程 ：以resent结构为例，裁剪出适合运行在CSK6芯片上的模型
分享AI芯片开发经验
05-06 615
前面文章中介绍了怎么使用LNN工具链在CSK6上运行自己的AI算法，本篇重点讲如何进行合理的模型裁剪，并为您展示真实输入数据下最终推理执行的结果。
实践教程｜基于 pytorch 实现模型剪枝
m0_59596937的博客
08-13 3501
另外，pytorch 框架还提供了一些帮助函数:torch.nn.utils.prune.is_pruned(module): 判断模块 是否被剪枝。torch.nn.utils.prune.remove(module, name)：用于将指定模块中指定参数上的剪枝操作移除，从而恢复该参数的原始形状和数值。虽然 PyTorch 提供了内置剪枝API，也支持了一些非结构化和结构化剪枝方法，但是API比较混乱，对应文档描述也不清晰，所以后面我还会结合微软的开源nni工具来实现模型剪枝功能。
关于图像卷积运算 / 多通道卷积计算 / 反卷积 / 膨胀卷积 / Depthwise卷积 / 群卷积 的概念和计算总结
Francis Liu
01-04 4649
之前面试商汤的时候被问了好几个和卷积有关的概念，有些细节没答上来，所以稍微总结一下一些相关概念； 卷积的计算和作用； 三种卷积运算 Valid / Same / Full 的区别； 多通道卷积 反卷积（转置卷积）的概念和作用； 小数步长卷积 Fractionally Strided Convolution； 膨胀卷积的概念和作用； Depthwise卷积的概念和作用； 卷积，是一种...
深度学习之群卷积（Group Convolution）
热门推荐
hhy_csdn的博客
04-21 4万+
最近在看MSRA的王井东研究员的《Interleaved Group Convolutions for Deep Neural Networks》。论文中多次提到群卷积这个概念，所以特地学习了一下群卷积。 群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少...
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现
weixin_30793735的博客
03-30 2万+
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...
Pytorch 卷积中的 Input Shape用法
12-17
7. `groups`: 分组卷积，将输入通道和输出通道分成若干组，每个卷积核只作用于一组输入通道。默认值为1，表示标准卷积。 8. `bias`: 是否添加偏置项。默认为True。 在描述中提到，`Conv2d`并没有明确指定输入的尺寸...
群卷积（Group Convolution）
菜鸟驿站
09-16 9559
最近有看到group convolution，故做个记录。 group convolution 可称为群卷积或者是分组卷积，最早是在AlexNet中出现的。当时由于硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU中处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 我们假设上一层的feature map总共有N个，即通道数...
卷积神经网络的发展及各模型的优缺点
Jeremy_lf的博客
04-14 1万+
前沿 在CV领域，我们需要熟练掌握最基本的知识就是各种卷积神经网络CNN的模型架构，不管我们在图像分类或者分割，目标检测，NLP等，我们都会用到基本的CNN网络架构。 CNN从最初的2012年AlexNet横空出世到2014年VGG席卷世界以及2015年ResNet奠定了该领域的霸主地位，网络模型变得越变越深，而且也得到证明，越深的网络拟合效果越好，但网络相应的参数量计算量都极速增加，不利于技术的...
分组卷积（图文并茂）
weixin_45074568的博客
01-12 6785
分组卷积 Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式（channel sparse connection）。 1、分组卷积的矛盾——计算量 使用group convolution的网络有很多，如Xception，Mo
卷积神经网络group群卷积以及group lasso
weixin_42071277的博客
04-09 4586
一、group（群卷积） group（群卷积）的思想最早出现于Alexnet论文：ImageNet Classification with Deep Convolutional Neural Networks，Alex之所以使用群卷积是因为受当时GTX580 GPU现存的限制，不能使用一块GPU训练网络，所以其将网络拆分为两组分别使用1个GPU训练。 如下所示为一个常规的卷积操作 ...
理解分组卷积与深度可分离卷积
qq_36302589的博客
04-09 3251
这两种卷积分别是在ResNext论文与MobileNet系列中体现的，貌似Xception中也有深度可分离卷积的体现。 作用都很简单，为了降参。 目录 1. 分组卷积 group convolution 2 深度可分离卷积depthwise separable convolution 1. 分组卷积 group convolution 最早出现分组卷积的是AlexNet，说实话网...
鱼类识别系统【最新版】Python+TensorFlow+Vue3+Django+人工智能+深度学习+卷积神经网络算法
2301_78372746的博客
11-24 2234
鱼类识别系统，基于TensorFlow搭建卷积神经网络算法，通过收集了包括‘墨鱼’、‘多宝鱼’、‘带鱼’、‘石斑鱼’等在内的30种鱼类图像数据集进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。前端后端：Django算法：TensorFlow、卷积神经网络算法具体功能系统分为管理员和用户两个角色，登录后根据角色显示其可访问的页面模块。登录系统后可发布、查看、编辑文章，创建文章功能中集成了markdown编辑器，可对文章进行编辑。
ResNet (2015)（卷积神经网络）
weixin_45556264的博客
11-23 799
它不是一个复杂的理论突破，而是一个极其优雅和有效的工程解决方案，其“大道至简”的思想深刻地影响了整个领域。直到今天，基于ResNet的架构仍然是许多视觉任务的强大基线。在ResNet出现之前，主流的认知是：网络越深，表达能力越强，性能应该越好。论文中提出了几种不同深度的ResNet变体，最著名的是ResNet-34和ResNet-50/101/152。这种下降不是由过拟合引起的，因为即使在训练集上，深层的模型误差也比浅层模型更高。这是ResNet的核心构建模块。，巧妙地解决了极深神经网络的。
深度学习——神经网络
2303_80634169的博客
11-24 4073
本文梳理了深度学习中的核心网络模型及其组件。基础模型包括MLP（全连接层堆叠）、CNN（卷积结构处理图像）、RNN（循环结构处理序列）和Transformer（自注意力机制）。扩展模型涵盖跨模态融合（如CLIP）、图神经网络（如GCN）和强化学习网络（如DQN）。核心组件涉及网络层（卷积/全连接/注意力等）、激活函数（ReLU/Sigmoid等）、优化器（Adam/SGD等）、损失函数（交叉熵/MSE等）以及数据处理方法。通过系统分类和典型示例，为深度学习模型选择与设计提供参考框架。
深度学习：从技术本质到未来图景的全面解析
最新发布
m0_71934846的博客
11-29 999
摘要 深度学习作为人工智能的核心技术，通过多层神经网络模拟人脑机制，实现端到端学习，广泛应用于图像识别、自然语言处理、自动驾驶等领域。其核心技术包括卷积神经网络（CNN）、循环神经网络（RNN）以及优化算法与损失函数。尽管深度学习已深刻改变产业模式，但仍面临数据依赖、可解释性差、算力消耗等挑战。未来发展趋势包括自监督学习、可解释AI、多模态学习及通用人工智能（AGI）。深度学习不仅推动技术革新，也对个人职业发展和社会数字化进程产生深远影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值