理解分组卷积和深度可分离卷积如何降低参数量

最新推荐文章于 2024-09-26 09:44:15 发布
最新推荐文章于 2024-09-26 09:44:15 发布
阅读量1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/GeneralJing/article/details/112346802
本文深入浅出地介绍了卷积神经网络（CNN）中的分组卷积（Group Convolution）。通过实例和清晰的图表，阐述了group参数如何影响网络结构和计算效率，帮助读者更好地掌握这一关键概念。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在计算conv的mask的时候，接触到Conv2D的group参数，对分组卷积有些不清楚，这篇博文介绍的通俗易懂，配图清晰。

https://zhuanlan.zhihu.com/p/65377955

分组卷积和深度可分离卷积
qq_40107571的博客
07-20 1012
分组卷积最早开始于，主要为了解决单个GPU无法处理含有大量计算量和存储需求的卷积层这个问题。目前，分组卷积多被用于构建用于移动设备的轻量级网络模型。例如深度可分离卷积。
最全卷积总结篇（分组、深度可分离、空洞、转置等）
最新发布
qq_44815135的博客
11-26 3288
分组卷积（Group Convolution）是一种卷积操作方式，它最早在AlexNet中引入，并在深度学习中被广泛使用，尤其是在高效模型设计（如MobileNet和ResNeXt）中。分组卷积通过将输入特征通道分为若干组，并在每组内单独进行卷积操作，可以减少计算复杂度和参数量，同时有效利用模型的结构特性。分组卷积的工作原理通道分组：输入特征图的通道图为C_in,输出特征图的通道数为C_out,将每组的C_in和C_out分为G组，每组的通道数为C_in/G和C_out/G。组内卷积。
轻量级网络：减少参数量的几种方法
01-20
从 Inception 到 Xception 的发展一路看来，出现了很多精巧的结构设计和理念思想： 1、多个不同尺寸的卷积核，提高对不同尺度特征的适应能力 2、PW 卷积，降维或升维的同时，提高网络的表达能力 PW卷积：Pointwise Convolution，俗称 1×1 卷积，主要用于数据降维，减少参数量。 使用 1×1 卷积核对输入的特征图进行降维处理，这样就会极大地减少参数量，从而减少计算。例如，输入数据的维度是 256 维，经过 1×1 卷积之后，我们输出的维度是 64 维，参数量是原来的 1/4 。  PW 也可以用做升维，MobileNet V2 中使用 PW 将 3 个特征图
移动端/嵌入式-CV模型-2017：MobelNets-v1【利用“深度可分离卷积”来减少参数量】【分解卷积层：①各通道分别用3×3的核进行卷积；②各通道用1×1×C的核融合】【α、β调整模型大小】
u013250861的博客
08-08 1098
假设某一网络卷积层，其卷积核大小为3×3，输入通道为16，输出通道为32；常规卷积操作是将32个3×3×16的卷积核作用于16通道的输入图像，则根据卷积层参数量计算公式，卷积计算+卷积参数量+卷积计量量得到所需参数为32*(3316+1)= 4640个。若先用16个、大小为3×3的卷积核(331)作用于16个通道的输入图像，得到了16个特征图，在做融合操作之前，接着用32个大小为1×1的卷积核(1116)遍历上述得到的16个特征图，根据卷积层参数计算公式，所需参数为(331116。.............
关于深度可分离卷积可以减少计算量的问题
beautiful77moon的博客
09-29 5653
一、什么是深度可分离卷积？深度可分离卷积的操作流程？ 二、为什么深度可分离卷积的计算量比普通卷积的计算量要小？ 例如：12*12*3的原始图像用256个5*5*3的卷积核卷出8*8*256的结果（stride=1） 1. 使用原始的卷积方法的计算量：256*(5*5*3)*(8*8)=1228800 注：单通道5*5卷积核的计算量为5*5，所以3通道的为5*5*3； 卷积核要在原始图像上...
深度可分离卷积（参数量与计算量）VS普通卷积（参数量与计算量）
wilbur520的博客
07-27 1831
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Ma.
深度可分离卷积
mxh3600的博客
05-10 1883
在计算资源受限制的移动端设备上，常规的卷积操作由于计算量大，经常难以满足实际运行速度的要求，这时深度可分离卷积(Depthwise Separable Convolution)就派上了用场。深度可分离卷积是由Depthwise(DW)卷积与Pointwise(PW)卷积组成。该结构和常规卷积类似，可用来提取特征，但相比常规卷积，其参数量和运算成本较低，所以在一些轻量级网络中经常用到此结构，如MobileNet、ShuffleNet。 常规卷积 对于一幅128x128像素、3通道彩色输入图像(尺寸128x
标准卷积、深度可分离卷积和分组卷积的参数量与计算量和感受野大小计算
qq_39987519的博客
07-07 4025
一、特征图尺寸计算方法 Wout=(Win+2∗Padding−F)/Stride+1 W_{out} = (W_{in} + 2*Padding-F)/Stride+1Wout​=(Win​+2∗Padding−F)/Stride+1 其中，Wout为输出特征图的宽度大小，Win为输入特征图的宽度大小，F为卷积核大小，Stride为卷积滑动步长，Padding为输入特征图填充的圈数。 例如，输入12×12×3 （特征图大小为12×12，通道数为3），经过卷积核大小为5×5，Padding=0，Stride
深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作
生活需要深度
07-19 1084
AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。图来自微软亚洲研究院公众号要做到这个操作，可以直接在原来的过滤器前面再加一层过滤器，这层过滤器学习的是下一层卷积核的位置偏移量（offset），这样只是增加了一层过滤器，或者直接把原网络中的某一层过滤器当成学习offset的过滤器，这样实际增加的计算量是相当少的，但能实现可变形卷积核，识别特征的效果更好。
深度可分离卷积（depthwise separable convolutions）
lipengfei0427的博客
11-15 3804
深度可分离卷积depthwise separable convolution是由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map。 需要注意的是，深度可分离卷积和正常(标准)卷积是等效的。 废话不多说，直接上个图。 图中(a)表示的是标准卷积，假设输入特征图尺寸为，卷积核尺寸为，输出特征图尺寸为，用了Padding。标准卷积层的参数量为，N表示卷积核的个数。 图(b)代表深度卷积，图(c)代表逐点卷积，两者合起来就是深度可分离卷积。深度卷
『算法学习』深度可分离卷积
weixin_34240520的博客
09-29 271
一、通道和区域 标准的卷积过程可以看上图，一个2×2的卷积核在卷积时，对应图像区域中的所有通道均被同时考虑，问题在于，为什么一定要同时考虑图像区域和通道？我们为什么不能把通道和空间区域分开考虑？ 深度可分离卷积提出了一种新的思路：对于不同的输入channel采取不同的卷积核进行卷积。 二、结合TensorFlow API介绍具体实现 顺便一提，tf的实现可以接收rate参数，即可以采用...
卷积网络知识--深度可分离卷积
wh22141334的博客
08-04 932
深度可分离卷积
pytorch卷积操作nn.Conv中的groups参数用法解释
胖胖大海的博客
11-13 1万+
最近在项目中使用到了MobileNet分类网络，MobileNet网络中使用到了深度可分离卷积操作，深度可分离卷积将传统卷积操作分成两步来处理。假设输入的特征图feature_map大小为[H, W, C]，深度可分离卷积第一步使用C组NxNx1的卷积核对每个输入通道in_channel进行卷积，卷积输出结果特征图feature_map大小为[H, W, C]，然后使用M和1x1xC的卷积核进行卷积操作，输出的特征图大小为[H, W, M]。深度可分离卷积的目的是减少卷积操作的参数量和计算量，从而提升运算速
卷积神经网络中1*1卷积相关的网络结构
YOULANSHENGMENG的博客
10-25 983
1，瓶颈结构 1）什么是瓶颈结构 瓶颈结构就是两头宽，中间窄的网络结构，先降维然后升为维；瓶颈结构不仅增加了网络的深度同时还有效的减少了网络的参数； 比较经典的应用：ResNet 左边的计算如下： w*h*256*3*3*256 =589824*w*h 右边的计算如下： w*h*256*1*1*64 + w*h*64*3*3*64 +w*h*64*1*1*256 = 69632*w*h 结果相差大概8.5倍。 在移动端部署，模型的大小很受限，这个技术可以不损害模型的精度降...
深入浅出之深度可分离卷积
浩瀚之水的专栏
09-26 8578
卷积核是一个小的矩阵（或张量），其大小通常是奇数（如3x3、5x5等），用于在输入特征图上进行滑动窗口操作。
深度可分离卷积减少参数量和计算量的本质
ali1174的专栏
05-05 755
对深度可分离卷积的个人理解
Conv2d中的groups参数（分组卷积）怎么理解？ 【分组卷积可以减少参数量、且不容易过拟合（类似正则化）】
热门推荐
Drug discovery
01-11 1万+
关于Conv2d的用法先看以下链接：Conv2d_马鹏森的博客-优快云博客 注意：首先需要知道的是groups的值必须能整除in_channels和out_channels 前置知识：卷积参数量的计算公式是：（输入通道数 * 输出通道数 * k^2 ）/ groups 了解分组卷积对输入通道数的影响： 1.当设置group=1时： conv = nn.Conv2d(in_channels=6, out_channels=6, kernel_size=1, groups=1) conv.wei.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值