VGG小卷积代替大卷积 VS 深度可分离卷积

原创 已于 2022-06-09 19:29:28 修改 · 405 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #cnn #计算机视觉 #新手理顺知识

于 2022-06-09 17:47:37 首次发布
本文探讨了VGG网络如何通过使用小卷积来减少参数量，与大卷积相比，其优势在于保持感受野的同时降低模型复杂度。介绍了LeNet卷积参数计算，并详细阐述了深度可分离卷积的工作原理，分为逐通道卷积和1x1卷积两步。此外，文章还提到了Mobilenet中用于压缩模型的通道因子和分辨率乘子，以及MobilenetV2中ReLU可能导致的信息丢失问题。

VGG小卷积代替大卷积 VS 深度可分离卷积

在这里插入图片描述

第一部分： VGG小卷积代替大卷积

优势： 感受野一样的，但是参数量减少了将近1/5。

1、1 大卷积

特点：1、参数量大。
2、保留了很多的特征。
在这里插入图片描述

LeNet卷积参数计算

在这里插入图片描述
可训练参数计算可用Y = KX + b来表示，上图中5*5一个卷积核 + 一个偏置。
在这里插入图片描述

普通卷积和深度可分离卷积

了解本专栏 订阅专栏 解锁全文 超级会员免费看
VGG使用3*3小滤波器卷积层代替5*5或7*7的大滤波器卷积层以减少参数。
qq_45887419的博客
12-10 3487
首先从卷积计算原理着手，一个5*5的输入，经过一个3*3的滤波器滑动9次，输出一个3*3的数据。输出数据的每个元素都对应5*5的9个窗口，再在输出的3*3数据上使用一个3*3的滤波器，可以得到一个数据，对应的是上一个3*3数据。可见，最后得到的数据是两次观察5*5数据得到的，与用5*5的滤波器观察一次数据可以到达到同样的效果。 VGG就使用此思想，用小滤波器卷积层代替大滤波器卷积层，那为什么这样会减少参数量呢？ 原文如下： 为了便于理解，用代表输入通道数，代表输出通道数。输入通道数和滤波器通道数相
深度可分离卷积解析 - MobileNetV1
晓野豬
04-07 3744
文章目录1 原理浅析1.1 背景简介1.2 标准卷积1.3 深度可分离卷积1.3.1 逐通道卷积1.3.2 逐点卷积2 参数量/计算量比较2.1 参数量比较2.2 计算量比较3 代码实现 - pytorch 1 原理浅析 1.1 背景简介   2017 年 4 月，谷歌提出 MobileNet V1 这一专注于移动设备的轻量级神经网络。MobileNet V1 运用深度可分离卷积（Depthwise separable convolution）构建轻量级网络，在准确率没有大幅下降的情况下，显著降低参数量和计
vgg16网络改深度可分离卷积
weixin_52646021的博客
12-21 602
原网络 class CNN0(nn.Module): def __init__(self,imageHeight,nChannel): super(CNN0,self).__init__() assert imageHeight % 32 == 0,'image Height has to be a multiple of 32' self.conv0 = nn.Conv2d(in_channels=nChannel,out_channels=
【笔记】MobileNet_v1：VGG中的 标准卷积层 换成深度可分离卷积
nyist_yangguang的博客
09-25 748
代码：gluon-cv/mobilenet.py at 5f5ce87d9a1df1623e15d39d1d2dc65317337652 · dmlc/gluon-cv · GitHub
主干网络系列(6) - Xception: 使用深度可分离卷积的深度学习
kevin_zhao_zl的博客
02-24 5231
该论文对Inception模块做了新的解释，通过使用深度可分离卷积来代替Inception模块产生了一个新的网络架构，即Xception(Extreme Inception)。
深度可分离卷积vs标准卷积
weixin_44762713的博客
12-20 1654
本文只比较深度可分离卷积与标准卷积的参数量、运算量、时间，模型性能请看Mobilenet系列论文。 1. Model 深度可分离卷积 import torch import torch.nn as nn import torch.nn.functional as F import time from torchstat import stat class Depthpoint_conv(nn.Module): def __init__(self, C_in, C_out, kernel_si
VGG 改进之使用深度可分离卷积替换普通卷积的尝试
02-05
将深度可分离卷积应用于VGG模型中，可以显著减少模型的参数量和计算量。由于参数量和计算量的减少，对应的模型在移动设备和嵌入式设备上运行起来更加高效，这为在资源受限的环境中应用深度学习技术提供了可能。此外...
VGG16 深度卷积神经网络模型解析
最新发布
08-16
VGG16的结构非常规整，卷积层采用3x3的小卷积核，并且随着网络的深入，卷积核的数量逐层加倍。这种设计简单且有效，它使得网络能够通过堆叠多个小卷积核来构建复杂的特征检测器。在VGG16模型中，通过重复使用这种...
机器学习大作业基于resnet50和vgg16卷积神经网络的汉字书法识别项目源码+训练集+测试集
09-12
机器学习大作业基于resnet50和vgg16卷积神经网络的汉字书法识别项目源码+训练集+测试集，新手也可看懂，个人手打98分项目，导师非常认可的高分项目，毕业设计、期末大作业和课程设计高分必看，下载下来，简单部署，...
InceptionV3----连续小卷积层代替大卷积层
weixin_30520015的博客
05-05 360
一、介绍 一个5*5的卷积核可以被连续的2个3*3卷积核代替，每个卷积核都经过激活。 1个5*5的卷积核，也可以被2个连续的1*5和5*1卷积核代替。 如图，中间的图用2个3*3的卷积核代替了5*5的卷积核。右边的图引入了1*n和n*1的卷积核 二、作用 1.作者说，在网络的前期使用这种分解，效果并不好。对于中等大小的特征图，边长在12-20之间，效果比较好。 2.通过卷积核...
神经网络学习小记录24——卷积神经网络经典模型及其改进点汇总
Bubbliiiing的学习小课堂
10-30 9052
神经网络学习小记录24——卷积神经网络经典模型及其改进点汇总学习前言经典神经网络的改进点经典神经网络的结构汇总1、VGG162、ResNet503、InceptionV34、Xception5、MobileNet 学习前言 学了好多好多的网络，它们的重点都是什么呢？ 经典神经网络的改进点 名称 改进点 VGG16 1、使用非常多的3*3卷积串联，利用小卷积代替大卷积，该操作使得其...
深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作
热门推荐
呆呆象呆呆的博客
10-24 1万+
文章目录分组卷积（Group Convolution）原理用途常规卷积（Convolution）空洞（扩张）卷积（Dilated/Atrous Convolution）深度可分离卷积（depthwise separable convolution）标准卷积与深度可分离卷积的不同深度可分离卷积的过程深度可分离卷积的优点可变形卷积网络背景想法评价卷积神经网络中十大拍案叫绝的操作一、卷积只能在同一组进行...
VS2019使用C++调用并部署pytorch VGG模型全过程(libtorch+opencv)(cpu+gpu)
W9XM96的博客
10-13 6645
环境配置vs2019+libtorch1.9.0+opencv3.4.2+cuda11.0+cudnn8.0（实测可用，不踩坑） 须知 Libtorch版本需与pytorch版本兼容（最好一致），系统下载与pytorch版本相同的CUDA和Cudnn,否则导入模型将出错。 若想使程序在GPU上运行，需下载GPU版libtorch,其也支持cpu运行。 文中给出图片或许版本与标题不一致，不影响实际操作，作者已亲测可行 libtorch 用C++调用pytorch模型，其目的在于：使用C++及多线程可以加快模
深度可分离卷积（Xception 相关）
dujuancao11的博客
07-20 4015
卷积神经网络经过不断的改进和优化，卷积早已不是当年的卷积，诞生了分组卷积（Group convolution）、空洞卷积（Dilated convolution 或 À trous）等各式各样的卷积。今天主要讲一下深度可分离卷积（depthwise separable convolutions），这是 Xception 以及 MobileNet 系列的精华所在。 从 Inception module 到深度可分离卷积 Xception 的论文中提到，对于卷积来说，卷积核可以看做一个三维的滤波器：通道维.
VGG详解
tt丫的博客
01-04 4733
一、VGG网络的背景 二、VGG网络结构 1、各网络结构参数图示 2、输入 3、双层 —— 一层卷积+（一层卷积+最大池化） 4、三层 —— 两层卷积+（一层卷积+最大池化） 5、全连接层——分类判决 6、拓展：VGG16_bn 三、VGG网络的亮点——连续小卷积核代替大卷积核 四、VGG网络的不足 五、VGG代码实现 一、VGG网络的背景 AlexNet问世之后，很多学者通过改进AlexNet的网络结构来提高自己的准确率，主要有两个方向：小卷积核和多尺度。 而VGG的作者们则选择
Image Classification ——【VGG】
三木今天学习了嘛の博客
10-10 565
虽然AlexNet证明深层神经网络卓有成效，但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。 VGG介绍了一些常用于设计深层神经网络的启发式概念。
多小卷积核代替大卷积核——VGGNet
稚与的博客
05-23 5566
VGGNet——Visual Geometry Group 文章目录VGGNet——Visual Geometry Group简介主要贡献基本原理预处理数据增强参数初始化网络结构整体架构前五层卷积层后三层全连接层模型评估 简介 2014年，牛津大学计算机视觉组和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络：VGGNet，并取得了ILSVRC2014比赛分类项目的第二名（第一名是GoogLeNet，也是同年提出的）和定位项目的第一名。 VGGNet可以看成是加深版的AlexNet
深度可分离卷积_深度可分离卷积性能研究
weixin_39541681的博客
12-17 3505
对比普通卷积和深度可分离卷积FLOPs，在不同硬件平台下对比计算强度，实测训练和工程部署的精度和计算量。深度可分离卷积(简写 DepSep Conv)已经被证明了可以作为传统卷积的有效代替方案，并且已经成熟地应用在了很多模型中，例如非常有实际工程意义的两个网络MobileNet[1]和EfficientNet[2]。使用深度可分离卷积的网络相比传统卷积网络，具有较少的参数，并且在浮点运算...
深度可分离卷积和普通卷积的本质区别
weixin_44003026的博客
06-21 3064
深度可分离卷积和普通卷积的本质区别 转载 原本的卷积与深度可分离卷积区别： 原本的卷积是各个通道上采用相同的卷积核，然后不同的卷积核用于提取不同方面的特征。 深度可分离卷积先在各个通道上采用不同的卷积核提取不同的特征，但是这样对于某个通道来说，就只提取了一方面的特征，因此在此基础上加入点卷积，用1*1的卷积对提取特征后的特征图再次提取不同方面的特征，最终产生和普通卷积相同的输出特征图。 好处是这样做大大节约了参数量。 ...
什么卷积去替换深度可分离卷积
03-17
### 可替代深度可分离卷积的其他卷积类型 在计算机视觉领域，多种类型的卷积操作已经被开发出来以满足不同的需求。以下是几种可能作为深度可分离卷积替代方案的卷积类型： #### 1. **标准卷积** 尽管标准卷积的计算复杂度较高，但在资源充足的情况下仍然是一个可靠的选择。它通过对输入数据应用滑动窗口的方式提取特征[^1]。虽然其计算成本高于深度可分离卷积，但它能够提供更高的灵活性和表达能力。 #### 2. **带孔卷积 (Dilated Convolution)** 带孔卷积通过引入带孔率 \(r\) 来扩展感受野而不增加参数数量或计算开销。这种特性使其成为处理高分辨率图像的理想选择之一[^2]。相比于深度可分离卷积，带孔卷积能够在保持较低计算负担的同时捕获更大范围的空间上下文信息。 #### 3. **分组卷积 (Grouped Convolution)** 分组卷积将输入通道分成若干组分别进行独立运算后再拼接起来形成最终输出[^4]。这种方法有效减少了乘加操作次数并降低了内存访问频率，从而提高了效率。与深度可分离卷积相比，分组卷积提供了更灵活的设计空间，在某些场景下甚至可以获得更好的性能表现。 #### 4. **混合精度卷积 (Mixed-Precision Convolution)** 利用不同数值表示形式（如浮点数 vs 定点数）或者位宽压缩技术实现低功耗高效能推理过程的一种方法。这种方式可以在不显著牺牲准确性前提下大幅减少存储需求以及加速前向传播速度[^3]。 #### 示例代码展示如何切换不同类型卷积层： ```python import torch.nn as nn class CustomConvLayer(nn.Module): def __init__(self, conv_type='standard'): super(CustomConvLayer, self).__init__() if conv_type == 'standard': self.conv = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=(3, 3), stride=1, padding=1) elif conv_type == 'depthwise_separable': self.depth_conv = nn.Conv2d(3, 3, kernel_size=3, padding=1, groups=3) self.pointwise_conv = nn.Conv2d(3, 64, kernel_size=1) elif conv_type == 'grouped': self.grouped_conv = nn.Conv2d(3, 64, kernel_size=3, groups=3, padding=1) def forward(self, x): if hasattr(self, 'conv'): return self.conv(x) elif hasattr(self, 'depth_conv') and hasattr(self, 'pointwise_conv'): x = self.depth_conv(x); x = self.pointwise_conv(x); return x elif hasattr(self, 'grouped_conv'): return self.grouped_conv(x) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

土豆娃potato

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值