理解分组卷积和深度可分离卷积如何降低参数量

最新推荐文章于 2024-07-19 14:43:16 发布
原创 最新推荐文章于 2024-07-19 14:43:16 发布 · 1k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入浅出地介绍了卷积神经网络（CNN）中的分组卷积（Group Convolution）。通过实例和清晰的图表，阐述了group参数如何影响网络结构和计算效率，帮助读者更好地掌握这一关键概念。
部署运行你感兴趣的模型镜像

最近在计算conv的mask的时候，接触到Conv2D的group参数，对分组卷积有些不清楚，这篇博文介绍的通俗易懂，配图清晰。

https://zhuanlan.zhihu.com/p/65377955

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

分组卷积和深度可分离卷积
qq_40107571的博客
07-20 1054
分组卷积最早开始于，主要为了解决单个GPU无法处理含有大量计算量和存储需求的卷积层这个问题。目前，分组卷积多被用于构建用于移动设备的轻量级网络模型。例如深度可分离卷积。
深度可分离卷积（depthwise separable convolutions）
lipengfei0427的博客
11-15 3980
深度可分离卷积depthwise separable convolution是由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map。 需要注意的是，深度可分离卷积和正常(标准)卷积是等效的。 废话不多说，直接上个图。 图中(a)表示的是标准卷积，假设输入特征图尺寸为，卷积核尺寸为，输出特征图尺寸为，用了Padding。标准卷积层的参数量为，N表示卷积核的个数。 图(b)代表深度卷积，图(c)代表逐点卷积，两者合起来就是深度可分离卷积。深度卷
关于深度可分离卷积可以减少计算量的问题
beautiful77moon的博客
09-29 5729
一、什么是深度可分离卷积？深度可分离卷积的操作流程？ 二、为什么深度可分离卷积的计算量比普通卷积的计算量要小？ 例如：12*12*3的原始图像用256个5*5*3的卷积核卷出8*8*256的结果（stride=1） 1. 使用原始的卷积方法的计算量：256*(5*5*3)*(8*8)=1228800 注：单通道5*5卷积核的计算量为5*5，所以3通道的为5*5*3； 卷积核要在原始图像上...
移动端/嵌入式-CV模型-2017：MobelNets-v1【利用“深度可分离卷积”来减少参数量】【分解卷积层：①各通道分别用3×3的核进行卷积；②各通道用1×1×C的核融合】【α、β调整模型大小】
u013250861的博客
08-08 1193
假设某一网络卷积层，其卷积核大小为3×3，输入通道为16，输出通道为32；常规卷积操作是将32个3×3×16的卷积核作用于16通道的输入图像，则根据卷积层参数量计算公式，卷积计算+卷积参数量+卷积计量量得到所需参数为32*(3316+1)= 4640个。若先用16个、大小为3×3的卷积核(331)作用于16个通道的输入图像，得到了16个特征图，在做融合操作之前，接着用32个大小为1×1的卷积核(1116)遍历上述得到的16个特征图，根据卷积层参数计算公式，所需参数为(331116。.............
深度可分离卷积（参数量与计算量）VS普通卷积（参数量与计算量）
wilbur520的博客
07-27 1890
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Ma.
深度可分离卷积
mxh3600的博客
05-10 1971
在计算资源受限制的移动端设备上，常规的卷积操作由于计算量大，经常难以满足实际运行速度的要求，这时深度可分离卷积(Depthwise Separable Convolution)就派上了用场。深度可分离卷积是由Depthwise(DW)卷积与Pointwise(PW)卷积组成。该结构和常规卷积类似，可用来提取特征，但相比常规卷积，其参数量和运算成本较低，所以在一些轻量级网络中经常用到此结构，如MobileNet、ShuffleNet。 常规卷积 对于一幅128x128像素、3通道彩色输入图像(尺寸128x
理解分组卷积与深度可分离卷积
qq_36302589的博客
04-09 3262
这两种卷积分别是在ResNext论文与MobileNet系列中体现的，貌似Xception中也有深度可分离卷积的体现。 作用都很简单，为了降参。 目录 1. 分组卷积 group convolution 2 深度可分离卷积depthwise separable convolution 1. 分组卷积 group convolution 最早出现分组卷积的是AlexNet，说实话网...
全连接-普通卷积-深度可分离卷积-分组卷积-计算量和参数量
weixin_44605171的博客
09-11 2385
全连接-普通卷积-深度可分离卷积-分组卷积-计算量和参数量 一个全连接的参数量： params=(Ni+1)×No params=(N_i+1)\times{N_o} params=(Ni​+1)×No​ 其中，NiN_iNi​ 表示输入特征向量权重个数，NoN_oNo​ 表示输出特征向量的权重个数，+1表示偏置，直接理解参数量与输入输出个数有关。 一个全连接的计算量： FLOPs=[Ii+(Ii−1)+1]×Io FLOPs= [I_i+(I_i-1)+1]\times{I_o} FLOP
ML/DL-复习笔记【十】- 分组卷积和深度可分离卷积的区别
kevin_zhao_zl的博客
07-19 950
> 本节为ML/DL-复习笔记【十】- 分组卷积和深度可分离卷积的区别，主要内容包括：分组卷积与深度可分离卷积的参数量分析。
轻量级网络：减少参数量的几种方法
01-20
从 Inception 到 Xception 的发展一路看来，出现了很多精巧的结构设计和理念思想： 1、多个不同尺寸的卷积核，提高对不同尺度特征的适应能力 2、PW 卷积，降维或升维的同时，提高网络的表达能力 PW卷积：Pointwise Convolution，俗称 1×1 卷积，主要用于数据降维，减少参数量。 使用 1×1 卷积核对输入的特征图进行降维处理，这样就会极大地减少参数量，从而减少计算。例如，输入数据的维度是 256 维，经过 1×1 卷积之后，我们输出的维度是 64 维，参数量是原来的 1/4 。  PW 也可以用做升维，MobileNet V2 中使用 PW 将 3 个特征图
深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作
最新发布
生活需要深度
07-19 1250
AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。图来自微软亚洲研究院公众号要做到这个操作，可以直接在原来的过滤器前面再加一层过滤器，这层过滤器学习的是下一层卷积核的位置偏移量（offset），这样只是增加了一层过滤器，或者直接把原网络中的某一层过滤器当成学习offset的过滤器，这样实际增加的计算量是相当少的，但能实现可变形卷积核，识别特征的效果更好。
『算法学习』深度可分离卷积
weixin_34240520的博客
09-29 278
一、通道和区域 标准的卷积过程可以看上图，一个2×2的卷积核在卷积时，对应图像区域中的所有通道均被同时考虑，问题在于，为什么一定要同时考虑图像区域和通道？我们为什么不能把通道和空间区域分开考虑？ 深度可分离卷积提出了一种新的思路：对于不同的输入channel采取不同的卷积核进行卷积。 二、结合TensorFlow API介绍具体实现 顺便一提，tf的实现可以接收rate参数，即可以采用...
卷积网络知识--深度可分离卷积
wh22141334的博客
08-04 964
深度可分离卷积
pytorch卷积操作nn.Conv中的groups参数用法解释
热门推荐
胖胖大海的博客
11-13 1万+
最近在项目中使用到了MobileNet分类网络，MobileNet网络中使用到了深度可分离卷积操作，深度可分离卷积将传统卷积操作分成两步来处理。假设输入的特征图feature_map大小为[H, W, C]，深度可分离卷积第一步使用C组NxNx1的卷积核对每个输入通道in_channel进行卷积，卷积输出结果特征图feature_map大小为[H, W, C]，然后使用M和1x1xC的卷积核进行卷积操作，输出的特征图大小为[H, W, M]。深度可分离卷积的目的是减少卷积操作的参数量和计算量，从而提升运算速
卷积算子参数量和计算量分析（普通卷积、深度可分离卷积、分组卷积）
张小殊的博客
11-13 1万+
在用于计算机视觉任务的深度神经网络模型中，卷积算子作为一种重要的特征提取方式被广泛应用，本文针对常见的卷积算子参数量和计算量的计算方法进行分析，主要包括普通卷积、深度可分离卷积、分组卷积。
深度可分离卷积与传统卷积的区别
slamer111的博客
09-07 5372
深度可分离卷积
深度可分离卷积减少参数量和计算量的本质
ali1174的专栏
05-05 850
对深度可分离卷积的个人理解
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值