空洞卷积/扩张卷积（Dilated convolution)-笔记

原创 已于 2022-11-19 14:41:54 修改 · 649 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #人工智能 #神经网络

于 2022-11-18 09:16:49 首次发布
本文详细介绍了空洞卷积的概念及其在保持输入特征图尺寸的同时扩大感受野的应用。讨论了空洞卷积堆叠可能产生的gridding effect，并提出了通过设置不同层的膨胀系数来避免此现象的方法。

空洞卷积/膨胀卷积
（1）普通卷积操作
3*3的kernel，上方深绿色为输出特征图，下方蓝色为原输入图
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述
（2）空洞卷积
其中r为扩张率，指的是卷积核的点的间隔数量。特别的，当r=1时，为普通卷积。
在这里插入图片描述在这里插入图片描述
作用：
1.增大感受野
2.保持原输入特征图W、H（宽度和高度）
在实际应用中，会对参数p进行操作，以保证原输入特征图W、H不会发生变化

（3）能否简单粗暴的堆叠膨胀卷积层？
不能！！！！！（详见论文Understanding Convolution for Semantic Segmentation)

gridding effect
在这里插入图片描述
下图中数字代表这个位置的像素被使用的次数，越红使用次数越多

在这里插入图片描述在这里插入图片描述在这里插入图片描述
我们发现在Layer4上的pixel利用的Layer1上的数据并不是连续的，导致我们丢失一些信息，称之为gridding effect现象。

如何避免gridding effect现象？
Layer1，2，3 的膨胀系数分别设置成[1，2，3]在这里插入图片描述在这里插入图片描述
在这里插入图片描述

若全部采用普通卷积
在这里插入图片描述
在这里插入图片描述
（4）当使用多个空洞卷积时，如何设置膨胀系数
Hybird Dilated Convolution(HDC)
The goal of HDC is to let the final size of the RF of a series of convolutional operations fully covers a square region without any holes or missing edges.
HDC的目标是，使用一系列空洞卷积操作后的接受域RF是完全覆盖底层的，且没有任何空洞。
建议1
在这里插入图片描述
建议2
在这里插入图片描述
共同要求
在这里插入图片描述

图片来源bilibili 【膨胀卷积(Dilated convolution)详解】https://www.bilibili.com/video/BV1Bf4y1g7j8?vd_source=6fde5fa387e263aed1e2578fe5df9026

空洞卷积，扩张卷积，膨胀卷积，多孔卷积，带孔卷积，dilated convolution
Jiashilin
07-05 4456
引子： 感受野（receptive field）：CNN中，某一层输出结果中一个元素所对应的输入层的区域大小.。越大的感受野包含越多的上下文关系 Dilated/Atrous Convolution(中文叫做空洞卷积或者膨胀卷积) 或者是 Convolution with holes 从字面上就很好理解，是在标准的 convolution map 里注入空洞，以此来增加 recepti...
【空洞卷积】Dilated Convolution是个什么神奇的存在？真的很好用！
985小水博的摸鱼日常
09-12 1496
【空洞卷积】Dilated Convolution学习笔记！
【Yoshua Bengio 亲自解答】机器学习 81 个问题及答案（最全收录）
jiandanjinxin的专栏
01-22 2688
本文转自：http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=401958262&idx=1&sn=707f228cf5779a31f0933af903516ba6&scene=1&srcid=0121zzdeFPtgoRoEviZ3LZDG#rd 译者：张巨岩  王婉婷  李宏菲  戴秋池 这是 Quora 的最新
Dilated Convolution（膨胀卷积、空洞卷积、扩张卷积、）学习笔记
2301_77637149的博客
10-11 5541
别名：膨胀卷积、扩张卷积。最早起源于语义分割。引入了超参数扩张率（dilation rate），定义为卷积核各个值之间的距离。以3*3卷积为例，如下图：对于以上三张图，分别对应扩张率为1，2，3，感受野分别为3，5，7（灰色区域）。k′kk−1×d−1其中，k′表示等效的普通卷积核的大小，k表示空洞卷积核的大小，d表示膨胀率对于图a，k3d1得到k′32×1−13对于图b，k3d2得到k′32×2−15。
空洞卷积（扩张卷积dilated convolution）
橘露源的博客
11-15 3958
为什么用空洞卷积？ 普通的Deep CNN中普遍包含Up-sampling / pooling layer，导致 内部数据结构丢失；空间层级化信息丢失。 小物体信息无法重建 (假设有四个pooling layer 则任何小于 2^4 = 16 pixel 的物体信息在理论上将无法重建和分割。) 普通卷积过程如下： 在这样显著缺陷问题的存在下，语义分割问题一直处在瓶颈期无法再明显提高精度，...
【机器学习】详解 扩张/膨胀/空洞卷积 (Dilated / Atrous Convolution)
热门推荐
闻韶
11-07 1万+
【机器学习】详解 扩张 / 膨胀 / 空洞卷积 (Dilated / Atrous Convolution)
关于膨胀卷积（空洞卷积）
m0_66508485的博客
01-05 559
空洞卷积（Dilated Convolution）也叫扩张卷积、膨胀卷积，目的只有一个，就是增加感受野。空洞卷积有个扩张率（dilation rate）的参数需要设置，其指定了卷积核相邻元素之间空多少格，比如一个3×3的卷积核，如果扩张率为2，即只要空一格就可以了。按图找规律我们可以很轻松的得到扩张侯卷积核的大小，即扩张率*（卷积核大小-1）+1，上述计算为2*(3-1)+1=5。在计算感受野大小时，需要考虑前面的层数多少，这里就不给出相关冗杂的公式了。
扩展卷积详解 - 组卷积, 深度可分离卷积, 空洞卷积
Right here, Code is Magic
02-23 4310
文章目录零. Standard Convolution - 标准卷积一. Group Convolution - 组卷积二. Depth Separable Convolution - 深度可分离卷积三. Dilated Convoluton - 扩张卷积四. 参考 在标准卷积的基础上介绍组卷积, 深度可分离卷积, 空洞卷积. 零. Standard Convolution - 标准卷积 标准卷积运算是这样地: 对于输入特征为 C∗H∗WC*H*WC∗H∗W, 卷积核大小为 K∗KK*KK∗K, 共 N
Hybrid Dilated Convolution学习笔记
qq_41439608的博客
11-15 9137
Hybrid Dilated Convolution学习笔记 1.膨胀卷积 也叫空洞卷积，是在普通卷积的基础上加了一个空洞率，如下图所示： 上图就是一个空洞率为2的空洞卷积，以3×3为例，算上空洞率为2的卷积核应该为5×5，添加像素添加0。 2.为什么要引入膨胀卷积？ 因为maxpooling进行池化操作后，一些细节和小目标会丢失，在之后的上采样中无法还原这些信息，造成小目标检测准确率降低然而去掉池化层又会减少感受野。 膨胀卷积的作用 （1）增大感受野 （2）保持输入特征的宽高 3.膨胀卷积的问题 栅格效
深度学习笔记---什么是空洞卷积
YOULANSHENGMENG的博客
11-08 4437
1，标准卷积 使用卷积核大小为3*3、填充为1，步长为2的卷积操作对输入为5*5的特征图进行卷积生成3*3的特征图，如图1所示。 图1 普通卷积 2. 空洞卷积 使用卷积核大小为3*3、空洞率（dilated rate）为2、卷积步长为1的空洞卷积操作对输入为7*7的特征图进行卷积生成3*3的特征图，如图2所示。 ...
TED-net: Convolution-free T2T-ViT-based Encoder-decoder Dilation network 阅读笔记（小关键点记录）
wangtao990503的博客
04-15 2559
笔者的研究方向即为低剂量CT去噪，这篇论文可以说是transformer在该领域的一次重要应用，欢迎大家在评论区一起讨论学习。 本文提出了一种基于无卷积T2T-ViT的编码器-解码器膨胀网络（TED-net），以丰富LDCT去噪算法家族。该模型没有卷积块，由一个带唯一transformer的对称编解码块组成。 PS：前置论文可以参考笔者的前两篇阅读笔记，包括：ViT、T2T-ViT。 介绍 作者在这部分并没有展示他的创新点，只是针对前人的优势和不足之处做了分析说明，在此不再赘述。 方法 .
深度学习笔记（一）：卷积变种（分组卷积、空洞卷积、深度可分离卷积、可形变卷积） 卷积中的不一样的操作
生活需要深度
07-19 1222
AlexNet中用到了一些非常大的卷积核，比如11×11、5×5卷积核，之前人们的观念是，卷积核越大，receptive field（感受野）越大，看到的图片信息越多，因此获得的特征越好。图来自微软亚洲研究院公众号要做到这个操作，可以直接在原来的过滤器前面再加一层过滤器，这层过滤器学习的是下一层卷积核的位置偏移量（offset），这样只是增加了一层过滤器，或者直接把原网络中的某一层过滤器当成学习offset的过滤器，这样实际增加的计算量是相当少的，但能实现可变形卷积核，识别特征的效果更好。
空洞卷积
yunyi4367的博客
11-08 3168
空洞卷积（atrous convolutions）又名扩张卷积（dilated convolutions），向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距。 卷积核为3、扩张率为2和无边界扩充的二维空洞卷积一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，而且仅需要9个参数。你可以把它想象成一个5×5的卷积核，每隔一行或一列
空洞卷积（扩张卷积，带孔卷积，atrous convolution）的一些总结与理解
lipengfei0427的博客
10-08 7360
空洞卷积（扩张卷积，带孔卷积，atrous convolution）是一种区别于普通卷积的卷积方式，从字面理解，就是卷积层中有洞。 1.一维理解 以一维为例： 图中(a)Input feature表示输入特征，Output feature表示输出特征，这是一个正常的kernel = 3; stride = 1; pad = 1的卷积操作。 图中(b)下面为Input feature，上面为Output feature，与图(a)不同的是pad = 2，同时引入了一个rate = 2，这个rate
Dilated Convolution （空洞卷积或扩张卷积）
gwpscut的博客
05-18 1万+
之前博文已经对空洞卷积做了介绍，本文进行深入介绍《各种卷积层的理解（深度可分离卷积、分组卷积、扩张卷积、反卷积）》 诞生背景，在图像分割领域，图像输入到CNN（典型的网络比如FCN[3]）中，FCN先像传统的CNN那样对图像做卷积再pooling，降低图像尺寸的同时增大感受野，但是由于图像分割预测是pixel-wise的输出，所以要将pooling后较小的图像尺寸upsampling到原始...
膨胀卷积（Dilated convolutions）（又叫空洞卷积、扩张卷积）
caip12999203000的博客
09-07 1万+
膨胀卷积（Dilated convolutions）（又成空洞卷积、扩张卷积）和HDC设计膨胀卷积的规则分享
【扩张卷积or空洞卷积】如何理解Dilated Convolutions(空洞卷积)
华仔的博客
07-23 7834
文章来源：https://blog.youkuaiyun.com/alxe_made/article/details/88594550 1. 扩张卷积的提出 Multi-Scale Context Aggregation by Dilated Convolutions Dilated Residual Networks 论文笔记——CVPR 2017 Dilated Residual Netwo...
[扩张卷积or空洞卷积] 如何理解Dilated Convolutions(空洞卷积)
小铅笔
05-08 788
文章来源：https://blog.youkuaiyun.com/alxe_made/article/details/88594550 1. 扩张卷积的提出 Multi-Scale Context Aggregation by Dilated Convolutions Dilated Residual Networks 论文笔记——CVPR 2017 Dilated Residual Networks 在图像分割领域，图像输入到CNN（典型的网络比如FCN）中，FCN先像传统的CNN那样对图像做卷积再po.
空洞卷积学习
frighting_ing的博客
03-08 2848
空洞卷积 空洞卷积（dilated convolution）是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野，让原本 3×33\times 33×3的卷积核，在相同参数量的情况下，用于5×5(dilatedrate=2)5 \times 5(dilated rate=2)5×5(dilatedrate=2)或者更大的感受野，无须下采样。 扩张卷积（Dilated Convolution）又称空洞卷积（Atrous Convolution），向卷积层引入了一
可变形卷积与空洞卷积（Dilated Convolution）有何区别？
最新发布
05-01
<think>好的，我现在需要详细分析用户的问题，即“可变形卷积与空洞卷积的区别”。用户已经提供了相关的站内引用资料，我需要结合这些资料以及之前的对话内容来构建一个准确且全面的回答。 首先，回顾用户之前的提问和我的回答，可变形卷积（Deformable Convolution）主要强调通过动态调整卷积核的采样位置来适应物体的几何形变，而空洞卷积（Dilated Convolution）则是通过扩大卷积核的感受野而不增加参数或计算量。用户现在希望明确两者的区别，尤其是在应用场景、工作原理和优缺点方面。 接下来，我需要查阅用户提供的引用内容。引用[1]和[3]详细介绍了空洞卷积的背景和原理，指出它通过引入间隔（dilation rate）来扩大感受野，解决传统卷积在语义分割等任务中因下采样导致的空间分辨率损失问题。引用[2]提到空洞卷积在处理不同大小物体时的挑战，如大dilation rate可能对小物体不利，需要设计如Hybrid Dilated Convolution来平衡。引用[4]则提到Dilated Block在实时语义分割中的应用，通过不同扩张率的分支提取多尺度特征。 结合这些信息，空洞卷积的核心在于控制感受野的大小，而可变形卷积的核心在于灵活调整采样位置。两者的设计目标不同：空洞卷积解决的是感受野扩展的问题，适用于需要捕捉长距离信息的任务；可变形卷积则解决几何形变问题，适用于目标检测和分割中物体形状变化大的情况。 接下来需要考虑两者的实现方式。空洞卷积通过在卷积核元素之间插入零来扩大间隔，数学上不增加参数，但可能引入网格效应（gridding issue），影响局部信息捕获。可变形卷积则通过额外的卷积层预测偏移量，动态调整采样点位置，增加了参数和计算量，但能更灵活地适应物体形变。 应用场景方面，空洞卷积常见于语义分割（如DeepLab系列）和需要多尺度信息的任务，而可变形卷积在目标检测（如Deformable R-CNN）和复杂形变处理的场景中表现更好。两者的优缺点也需要对比：空洞计算效率高但可能丢失细节，可变形更灵活但训练复杂。 最后，需要确保回答结构清晰，分点对比，并引用用户提供的资料。例如，在提到空洞卷积的多尺度处理时，引用[2]和[4]中的Hybrid Dilated Convolution和D Block结构。同时，结合之前的回答，强调可变形卷积的动态特性与空洞卷积的静态扩张之间的区别。 总结来说，回答需要涵盖工作原理、设计目标、实现机制、应用场景及优缺点对比，并适当引用用户提供的文献支持论点，确保信息准确且符合用户需求。</think>### 可变形卷积 vs 空洞卷积（Dilated Convolution）的核心区别 #### 一、**设计目标不同** 1. **空洞卷积** - **核心目标**：扩大卷积核的**感受野**（Receptive Field），避免传统下采样（池化、步长卷积）导致的空间分辨率损失[^1][^3]。 - **适用场景**：语义分割（如DeepLab系列）、需要捕捉长距离依赖的任务（如视频时序建模）。 - **关键特性**：通过**固定间隔（dilation rate）** 在卷积核采样点之间插入空白，数学表达为： $$y(p) = \sum_{k=1}^K w_k \cdot x\left(p + r \cdot p_k\right)$$ 其中$r$为扩张率（dilation rate），$p_k$为预设的规则采样点[^3]。 2. **可变形卷积** - **核心目标**：增强卷积核的**几何形变建模能力**，适应目标物体的非刚性形变（如弯曲、旋转）[^3]。 - **适用场景**：目标检测（如Deformable R-CNN）、复杂形变的图像分割。 - **关键特性**：通过**动态偏移量**调整采样位置，数学表达为： $$y(p) = \sum_{k=1}^K w_k \cdot x\left(p + p_k + \Delta p_k\right)$$ 其中$\Delta p_k$为可学习的偏移量[^3]。 --- #### 二、**实现机制对比** | 特性 | 空洞卷积 | 可变形卷积 | |---------------------|----------------------------------|------------------------------------| | **采样点位置** | 固定间隔（如$r=2$时采样点间隔为2像素） | 动态偏移（由网络学习偏移量$\Delta p_k$） | | **参数增加量** | 无额外参数（仅调整采样间隔） | 需额外卷积层生成偏移量（如$3\times3$卷积核需18个偏移通道） | | **感受野控制** | 显式控制（通过$r$值） | 隐式学习（偏移量可能突破预设感受野） | | **计算复杂度** | 与传统卷积相近 | 增加约20%-30%计算量（偏移量生成+双线性插值） | --- #### 三、**优势与局限性** 1. **空洞卷积的优势** - 保持特征图分辨率，避免上采样误差（语义分割关键需求）[^3]； - 通过**多尺度空洞卷积堆叠**（如ASPP模块）捕获多尺度上下文信息[^2]； - 计算效率高，无额外参数。 **局限性**： - 大$r$值可能导致**网格效应（Gridding Issue）**，丢失局部细节[^2]； - 固定采样模式无法适应物体形变。 2. **可变形卷积的优势** - 自适应调整采样位置，显著提升对几何形变的鲁棒性； - 可突破预设感受野限制，捕捉更灵活的上下文关系。 **局限性**： - 偏移量学习可能不稳定（需配合正则化或渐进训练策略）； - 实时性较差，对硬件加速要求高。 --- #### 四、**典型应用对比** | 任务类型 | 空洞卷积典型应用 | 可变形卷积典型应用 | |---------------|------------------------------------|------------------------------------| | **语义分割** | DeepLab系列（ASPP模块）[^1] | 复杂场景分割（如遮挡、形变物体） | | **目标检测** | 少用于检测（感受野扩展有限） | Deformable R-CNN（ROI对齐改进）[^3] | | **视频分析** | 时序建模（扩大时间维度感受野） | 运动形变建模（如光流估计） | --- #### 五、**联合使用案例** 部分先进模型会结合两者优势： - **Hybrid Dilated Convolution**[^2]：混合不同$r$值的空洞卷积，平衡多尺度信息； - **Deformable Dilated Convolution**：在空洞卷积基础上引入偏移量，同时扩展感受野并适应形变。 --- ### 关键区别总结 | | 空洞卷积 | 可变形卷积 | |----------------|----------------------------------|------------------------------------| | **核心改进** | 感受野扩展 | 几何形变建模 | | **参数动态性** | 静态（预定义$r$值） | 动态（可学习偏移量） | | **硬件友好度** | 高（规则计算） | 中（依赖双线性插值） | | **任务侧重** | 密集预测（分割） | 形变敏感任务（检测、姿态估计） | --- ### 相关问题 1. 如何设计混合空洞卷积（Hybrid Dilated Convolution）避免网格效应？ 2. 可变形卷积的偏移量学习如何避免过拟合？ 3. 空洞卷积在实时语义分割中的优化方法（参考[^4]的D Block设计）？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小蔡呀～～～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值