深度可分离卷积、空洞卷积、反卷积、感受野计算、上采样

最新推荐文章于 2025-04-07 16:05:36 发布
最新推荐文章于 2025-04-07 16:05:36 发布
阅读量2.2k 收藏 3
点赞数
分类专栏： 机器深度学习 文章标签： 卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/stdleohao/article/details/120876677
版权
本文介绍了深度可分离卷积、空洞卷积（扩张卷积）以及反卷积的概念，强调空洞卷积在保持计算成本和特征图尺寸不变的情况下增大感受野的优势。讨论了空洞卷积的网格效应和远距离信息不相关的问题，并提出Hybrid Dilated Convolution作为解决方案。此外，还提及了反卷积在上采样过程中的作用和局限性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

输出特征图尺寸的计算

在这里插入图片描述

Depthwise卷积和Pointwise运算成本比较低

如何计算？

空洞卷积

https://www.zhihu.com/people/merofine/posts?page=2 这个人博客写得好。
概述

  • atrous convolutions 又名 扩张卷积（dilated convolutions）
  • 利用添加空洞扩大感受野，让原本3x3的卷积核，在相同参数量和计算量下拥有5x5（dilated rate =2）或者更大的感受野，从而无需下采样
    • dilation rate（扩张率），指的是kernel各点之前的间隔数量（正常的convolution 的 dilatation rate为 1）

deep cnn 存在的主要

最低0.47元/天 解锁文章
【深度学习基础】空洞卷积（Dilated Convolution）和深度可分离卷积（Depthwise Separable Convolution）是两种常见的卷积操作有什么特点和联系？
985小水博的摸鱼日常
01-06 947
【深度学习基础】空洞卷积（Dilated Convolution）和深度可分离卷积（Depthwise Separable Convolution）是两种常见的卷积操作有什么特点和联系？
深度学习·理论篇(2023版)·第010篇多种卷积与可视化：单通道与多通道卷积可视化+(空间可分离卷积+深度可分离卷积+分组卷积+反卷积+八度卷积)可视化+OctConv模型理论
小李的研究生学习日记
04-06 583
二维情况下的卷积和一维并没有本质上的不同，下面略过公式，直接来形象理解。深度学习·理论篇：单通道与多通道卷积可视化+(空间可分离卷积+深度可分离卷积+分组卷积+反卷积+八度卷积)可视化+OctConv模型理论
深度可分离卷积+空洞卷积
weixin_45547419的博客
07-20 784
深度可分离卷积+空洞卷积
关于空洞卷积
最新发布
qq_45670407的博客
04-07 753
关于神经网络中的空洞卷积
扩展卷积详解 - 组卷积, 深度可分离卷积, 空洞卷积
Right here, Code is Magic
02-23 4024
文章目录零. Standard Convolution - 标准卷积一. Group Convolution - 组卷积二. Depth Separable Convolution - 深度可分离卷积三. Dilated Convoluton - 扩张卷积四. 参考 在标准卷积的基础上介绍组卷积, 深度可分离卷积, 空洞卷积. 零. Standard Convolution - 标准卷积 标准卷积运算是这样地: 对于输入特征为 C∗H∗WC*H*WC∗H∗W, 卷积核大小为 K∗KK*KK∗K, 共 N
【Pytorch神经网络理论篇】 32 PNASNet模型：深层可分离卷积+组卷积+空洞卷积
小李的研究生学习日记
04-09 4755
1 PNASNet模型简介 PNASNet模型是Google公司的AutoML架构自动搜索所产生的模型，它使用渐进式网络架构搜索技术，并通过迭代自学习的方式，来寻找最优网络结构。即用机器来设计机器学习算法，使得它能够更好地服务于用户提供的数据。该模型在ImageNet数据集上Top-1准确率达到82.9%，Top-5准确率达到96。2%，是目前最好的图片分类模型之一。 PNASNet模型最主要的结构是Normal Cell和Reduction Cell(参见arXⅳ网站上编号为1712.0...
深度学习原理10——几种卷积（深度可分离卷积、分组卷积、空洞卷积、）
xiaotiig的博客
04-12 463
几种不同类型的卷积1 深度可分离卷积2 分组卷积3 空洞卷积4 反卷积（转置卷积)![在这里插入图片描述](https://img-blog.csdnimg.cn/20201216115754545.png) 1 深度可分离卷积 参考： https://blog.youkuaiyun.com/qq_27825451/article/details/102457264 本文参考尹国冰的博客—卷积神经网络中的Separable Convolution 2 分组卷积 参考下面的文章： https://www.cnblo
Pytorch实现卷积、Depthwise Convolution、分组卷积、动态卷积和转置卷积、反卷积、全卷积、空洞卷积、可变形卷积、深度可分离卷积等操作
taoqick的专栏
03-04 2076
底层是用img2col实现的，但是如果想用pytorch来实现，可以试试torch.unfold这个函数，
卷积、分组卷积、深度可分离卷积、可变型卷积、空洞卷积介绍
weixin_41986795的博客
07-22 1375
**思想：**从函数（或者说映射、变换）的角度理解：卷积过程是在图像每个位置进行线性变换映射成新值的过程，将卷积核看成权重，从这个角度看，多层卷积是在进行逐层映射，整体构成一个复杂函数，训练过程是在学习每个局部映射所需的权重，训练过程可以看成是函数拟合的过程 从模版匹配的角度理解：卷积与相关在计算上可以等价，相关运算常用模板匹配，即认为卷积核定义了某种模式，卷积（相关）运算是在计算每个位置与该模式的相似程度，或者说每个位置具有该模式的分量有多少，当前位置与该模式越像，响应越强。卷积神经网络中的隐藏层即可以看
深度学习中小知识点系列(二十四) 深入解读可分离卷积以及深度学习中的八种卷积
专注于人工智能学习，总结
12-18 1015
深入浅出可分离卷积。
关于深度可分离卷积、空洞卷积、分组卷积的理解笔记
qq_53639093的博客
03-25 2421
深度可分离卷积(Depthwise separable convolution) 深度可分离卷积由逐通道卷积(Depthwise Convolution)和逐点卷积(Pointwise Convolution)两个过程组成 对于多通道输入得到多通道输出的过程，深度可分离卷积相比于常规卷积，具有更少的参数数量和更低的运算成本；不仅如此，深度可分离卷积将以往普通卷积操作同时考虑通道和区域改变，卷积先只考虑区域，然后再考虑通道。实现了通道和区域间的分离 逐通道卷积(Depthwise Convolution) 第
MixConv：混合感受野的深度可分离卷积
m0_63642362的博客
08-01 1140
本文系统地研究了不同内核大小的影响，并观察到结合多个内核大小的优点可以提高准确性和效率。基于这一观察，本文提出了一种新的混合深度卷积MixConv，它在一个卷积中自然地混合了多个内核大小...
什么是深度可分离卷积？什么是分组卷积？什么是空洞卷积？
LIN2020LOVEDA的博客
08-02 582
什么是深度可分离卷积？什么是分组卷积？什么是空洞卷积？
CNN中的深度可分离卷积、组卷积、逐层卷积、空洞卷积、转置卷积、可变形卷积
cdknight_happy的专栏
12-18 3954
参考： https://zhuanlan.zhihu.com/p/28749411 https://blog.youkuaiyun.com/Chaolei3/article/details/79374563 1 普通卷积 CNN中的普通卷积是三维卷积，每个卷积核的通道数和输入数据通道数相同，卷积核的个数为输出数据的通道数。具体的计算过程为在各通道进行卷积核和对应感受野输入数据的对应位置相乘再相加操作，得到一个...
空洞卷积增大感受野
我的博客
09-09 628
d分别为1、2、3的空洞卷积,它们是相互独立进行卷积的,其中整个框图代表输入图像,黑色圆点代表卷积核,灰色部分代表卷积后的感受野.单层的感受野计算方法如式下所示.由式(1)可以得出,图2中(a) 、(b)、©的感受野分别为3、5、7.证明了空洞卷积在不增加参数量的情况下,可以增大网络的感受野.空洞卷积是 ASPP结构的思想来源,空洞扩张率(dilation,d)是空洞卷积中的非常重要的一个参数.图2是卷积核为。
卷积核反卷积的感受野
weixin_40893448的博客
10-06 380
卷积的感受野是从前往后看，多个对应一个 反卷积的感受野是从后往前看，一个对应多个 参考链接
对深度可分离卷积、分组卷积、空洞卷积的通俗理解(上篇)
MIss-Y的博客
02-14 3526
python进阶教程机器学习深度学习长按二维码关注进入正文对深度可分离卷积、分组卷积、空洞卷积的通俗理解声明：卷积神经网络经过这些年的发展已经非常成熟，有着非常繁多的网络...
深度学习卷积参数量，图像输出尺寸，感受野的计算
u014687517的博客
09-08 2533
深度学习卷积参数量，图像输出尺寸，感受野的计算， 是针对我之前一篇博客的一些单独抽离和总结，方便复习 文章目录1. 分组卷积2. 深度可分离卷积3. 卷积后输出的图像尺寸4. 带孔卷积5. 感受野的计算 1. 分组卷积 详细的带图解释引用参考这个链接 https://zhuanlan.zhihu.com/p/65377955 概念 将输入特征图按照通道数分成g组，每组分别进行卷积操作 计算量的...
卷积，反卷积，空洞卷积
一一
04-18 6430
卷积神经网络中卷积核的作用在于特征的抽取，越是大的卷积核尺寸就意味着更大的感受野，当然随之而来的是更多的参数。早在1998年，LeCun大神发布的LetNet-5模型中就会出，图像空域内具有局部相关性，卷积的过程是对局部相关性的一种抽取。 但在深度卷积网络中，我们使用多次池化，下采样在增大感受野的同时使得信号的分辨率变小。且在卷积池化的过程中，尺寸会快速变小，我们常常会使用填充手段来解决这个问题...
深度可分离卷积的感受野
02-07
### 深度可分离卷积感受野分析 在卷积神经网络中，深度可分离卷积由逐通道卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution）组成。对于感受野的理解，其定义为输出特征图上某个位置对应的输入图像区域大小。 #### 感受野计算原理 标准卷积层的感受野可以通过以下公式来近似估计： \[ R_{l} = k_l + (R_{l-1}-1)\times s_l \] 其中 \(k_l\) 是当前层的核尺寸，\(s_l\) 表示步幅，而 \(R_{l}\) 则代表第 l 层节点的感受野范围[^1]。 然而，在深度可分离卷积的情况下，由于它分为两个阶段——首先是应用独立于其他通道的空间滤波器（depthwise convolution），接着再通过线性的变换组合这些经过过滤后的特征映射(pointwise convolution)，因此需要分别考虑这两个部分对整体感受野的影响。 具体来说，假设有一个 3×3 的 depthwise 卷积加上一个 1×1 pointwise 卷积组成的深度可分离结构，则主要影响来自前者；后者因为只改变通道数而不涉及空间维度上的操作，所以几乎不影响最终的感受野尺度。这意味着当仅关注空间信息时，可以忽略pointwise部分带来的微小变化[^2]。 #### 实际案例说明 为了更直观理解这一点，这里给出一段Python代码模拟不同类型的单层卷积运算后得到的结果差异: ```python import tensorflow as tf input_shape = (None, 64, 64, 3) # Standard Convolution Layer standard_conv_layer = tf.keras.layers.Conv2D( filters=32, kernel_size=(3, 3), strides=(1, 1), padding='same' )(tf.zeros(input_shape)) # Depthwise Separable Convolution Layers dw_sep_conv_layers = [ tf.keras.layers.DepthwiseConv2D(kernel_size=(3, 3), padding='same')(tf.zeros(input_shape)), tf.keras.layers.Conv2D(filters=32, kernel_size=(1, 1))(tf.zeros((None, *standard_conv_layer.shape[1:]))) ] ``` 这段代码展示了如何构建两种不同的卷积方式，并初始化它们以相同形状的数据作为输入。虽然实际运行此代码不会显示任何视觉化结果，但它可以帮助读者想象这两种架构之间的区别以及各自对应的感受野特性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值