卷积复杂度计算、im2col算法、Normalization【实现方法解析】

已于 2022-10-19 13:55:46 修改
阅读量1.2k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： Machine & Deep Learning 文章标签： 深度学习 python 人工智能
于 2022-09-15 16:46:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xiangyong58/article/details/126869906
本文深入探讨了深度学习中卷积操作的复杂度计算，包括普通卷积与深度卷积的比较，并详细解析了im2col算法在卷积实现中的作用。此外，文章还介绍了Batch Norm、Layer Norm和Group Norm三种归一化方法，分析了它们的工作原理和优缺点。

一：dw conv与普通conv 理论计算复杂度

举例如下：

卷积1：普通卷积，输入为64*64*256，输出为64*64*256，卷积核大小为3*3。

参数为3*3*256*256=590K，计算量为64*64*256*3*3*256=2.42G，计算过程的memory access量（输入输出数据+参数）为64*64*256*2 + 3*3*256*256 = 2.69M。

卷积2：dw卷积，输入为64*64*256，输出为64*64*256，卷积核大小为3*3。

参数为3*3*256=2.3K个，计算量为64*64*256*3*3=9.44M，计算过程的memory access量为64*64*256*2 + 3*3*256=2.10M。

卷积3：普通卷积，输入为64*64*16，输出为64*64*16，卷积核大小为3*3。

参数为3*3*16*16=2.3K个，计算量为64*64*16*3*3*16=9.44M，计算过程的memory access量为64*64*16*2 + 3*3*16*16=133K。

可以看到卷积2肯定比卷积1快，因为计算量下降到1/256了，但卷积2实际上无法达到卷积1的256倍速度（我记得我测得结果大概是快10倍左右），因为memory access大小并没有显著降低。卷积2也无法达到卷积3的速度，因为虽然FLOPS相同，但memory acces

了解本专栏 订阅专栏 解锁全文 超级会员免费看
卷积神经网络复杂度分析
白话机器学习
10-08 221
现阶段的轻量级模型 MobileNet/ShuffleNet 系列、CSPNet、RepVGG、VoVNet 等都必须依赖于于具体的计算平台（如 CPU/GPU/ASIC 等）才能更完美的发挥网络架构。1，计算平台主要有两个指标：算力 $\pi $和 带宽 $\beta $。算力指的是计算平台每秒完成的最大浮点运算次数，单位是FLOPS带宽指的是计算平台一次每秒最多能搬运多少数据（每秒能完成的内存交换量），单位是Byte/s。计算强度上限ImaxI_{max}Imax​。
MATLAB算法实战应用案例精讲-【图像处理】三维重建(附MATLAB和python代码实现)
qq_36130719的博客
12-13 1万+
在计算机视觉中，三维重建是指根据单视图或者多视图图像重建原始三维信息的过程。单视图缺少深度、多视角信息，基于单视图的三维重建效果较一般。基于多视角图像的三维重建，充分利用了多视角拍摄信息，先对摄像机进行标定，并计算出摄像机的图像坐标系与真实世界坐标系的关系，然后利用多个二维图像重建出三维信息。广义上，三维重建是指对某些三维物体或者三维场景的一种恢复和重构。重建出来的模型，方便计算机表示和处理。
卷积操作复杂度公式推导
qq_41037856的博客
11-23 1193
复杂度Hout⋅Wout⋅Cout⋅Cin⋅k2\text{复杂度} = H_{\text{out}} \cdot W_{\text{out}} \cdot C_{\text{out}} \cdot C_{\text{in}} \cdot k^2复杂度Hout​⋅Wout​⋅Cout​⋅Cin​⋅k2该公式反映了卷积核作用于每个像素时的局部操作和跨通道的计算需求。卷积计算复杂度与输入尺寸线性相关。
卷积神经网络的复杂度分析
weixin_38105245的博客
03-15 1440
在梳理CNN经典模型的过程中，我理解到其实经典模型演进中的很多创新点都与改善模型计算复杂度紧密相关，因此今天就让我们对卷积神经网络的复杂度分析简单总结一下下。本文主要关注的是针对模型本身的复杂度分析（其实并不是很复杂啦～）。如果想要进一步评估模型在计算平台上的理论计算性能，则需要了解 Roofline Model 的相关理论，欢迎阅读本文的进阶版： Roofline Model与深度学习模型的性能...
【深度学习】普通卷积、DWconv（逐深度卷积）与PWconv（逐点卷积）以及DSconv（深度可分离卷积）
最新发布
猫天意的博客
09-16 2193
深度可分离卷积（Depthwise Separable Convolution）通过将常规卷积分解为逐通道卷积（Depthwise）和逐点卷积（Pointwise）两步，显著减少了参数量和计算成本。常规卷积同时提取空间和通道特征，而深度可分离卷积先对每个通道单独进行空间卷积，再用1×1卷积调整通道数。以输入3通道、输出4通道的64×64图像为例，常规卷积需108个参数，而深度可分离卷积仅需39个参数，减少了约2/3。这种结构在轻量级网络（如MobileNet）中广泛应用，可在保持性能的同时降低计算资源需求。
卷积神经网络里的复杂度计算
ago_Lee的博客
04-13 3241
时间复杂度：某个层：整个网络：空间复杂度：K指的是卷积核的尺寸，C代表的是通道数。以后在看网络结构的时候可以多思考每次进行卷积的kernel size的设置的目的是什么学习网址点击打开链接...
卷积层参数个数计算公式,卷积操作的计算复杂度
super339的博客
08-14 1777
***********************************************************************/BOOLWINAPITemplateMatchDIB(LPSTRlpDIBBits,LPSTRlpTemplateDIBBits,LONGlWidth,LONGlHeight,LONGlTemplateWidth,LONGlTemplateHeight){//指向源图像的指针LPSTRlpSrc,lpTemplateSrc;//相似性测度doubleR;...
深度学习与计算机视觉系列(10)_细说卷积神经网络
热门推荐
寒小阳
01-19 7万+
前面九讲对神经网络的结构，组件，训练方法，原理等做了介绍。现在我们回到本系列的核心：计算机视觉，神经网络中的一种特殊版本在计算机视觉中使用最为广泛，这就是大家都知道的卷积神经网络。卷积神经网络和普通的神经网络一样，由『神经元』按层级结构组成，其间的权重和偏移量都是可训练得到的。同样是输入的数据和权重做运算，输出结果输入激励神经元，输出结果。从整体上看来，整个神经网络做的事情，依旧是对于像素级别输入的图
卷积神经网络的python实现,python卷积神经网络图像
super67269的博客
08-24 1214
上周末利用python简单实现了一个卷积神经网络，只包含一个卷积层和一个maxpooling层，pooling层后面的多层神经网络采用了softmax形式的输出。实验输入仍然采用MNIST图像使用10个featuremap时，卷积和pooling的结果分别如下所示。部分源码如下：[python] viewplain copy#coding=utf-8'''''Created on 2014年11月30日@author: Wangliaofan'''import numpyimport structimpor
各种卷积计算性能对比(Conv,DwConv,GhostConv,PConv,DSConv,DCNV)
03-26
各种卷积计算性能对比(Conv,DwConv,GhostConv,PConv,DSConv,DCNV),包括推理时间，GFlops,FPS
深度学习：卷积神经网络的计算复杂度，顺序操作，最大路径长度
m0_49786943的博客
11-18 829
在深度学习中，卷积层的计算复杂度主要取决于卷积核的大小、输入和输出的通道数量、以及输入序列的长度。具体来说，卷积层的计算复杂度可以通过以下几个因素来计算：卷积核大小 k：卷积核的大小决定了每次卷积操作需要计算的元素数量。输入通道数量 d：输入通道数量决定了每个位置需要进行的卷积操作的数量。输出通道数量 d：输出通道数量决定了需要进行的卷积操作的总次数。输入序列长度 n：输入序列长度决定了卷积操作的次数。输出通道数量 d 是指卷积层输出的特征图的数量。
卷积神经网络时间空间复杂度计算
OliverkingLi的博客
11-19 2525
有点懒，不想写字<>))，转自极客blog：  
卷积的时间复杂度
weixin_34025051的博客
08-08 3472
单层时间复杂度: k是kenerl的尺寸，m是输出的下一层的feature map的尺寸 整个网络时间复杂度:     为什么时间复杂度只算了乘法操作而不算加法操作? 1.时间复杂度的理解 https://www.zhihu.com/question/21387264/answer/22046424 简单理解：就是变量为n的时候，算法需要对变量操作次数的量级。 比如： 要找到一个数组里面最大...
如何计算卷积的复杂度、卷积层的参数量
ncnfjdjjd的博客
04-06 1812
这也就是为什么输入图像的的 H 和 W 不能算入参数量，因为它们是输入数据，是送进网络的图像/特征图，它。• 步长 stride = 1，padding 保持尺寸不变（输出还是 64x64）），卷积核大小是k✖️k，则对于每个输入的 channel，（浮点运算次数），指的是模型运行时需要执行多少次。• 输出通道数（输出特征图的深度）：64。• 输出特征图大小：224 ✖️ 224。（每次卷积一个输出像素时乘加一次）个卷积核），所以还需要相乘，得到。（Parameters）：是。输出通道数（即卷积核个数）
『高性能模型』卷积复杂度以及Inception系列
weixin_30389003的博客
02-27 399
转载自知乎：卷积神经网络的复杂度分析 之前的Inception学习博客： 『TensorFlow』读书笔记_Inception_V3_上 『TensorFlow』读书笔记_Inception_V3_下 一、时间复杂度 即模型的运算次数，可用FLOPs衡量，也就是浮点运算次数（FLoating-point OPerations）。 单个卷积层的时间复杂度 　　　　　　Time~O(M2...
MATLAB实现方法解析：圆周卷积的不同计算方式
2. MATLAB实现方法: - 使用定义进行实现：通过编写循环结构，对两个序列的每个元素进行移位、乘积和累加操作。 - 使用DFT进行实现：利用MATLAB内置的快速傅里叶变换（FFT）函数，先对两个序列进行快速傅里叶变换，...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xiangyong58

喝杯茶还能肝到天亮，共同进步

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值