『算法学习』空洞卷积

最新推荐文章于 2025-04-07 16:05:36 发布
最新推荐文章于 2025-04-07 16:05:36 发布
阅读量2k 收藏 13
点赞数 1
文章标签： 人工智能 数据结构与算法
本文深入探讨了空洞卷积（又称扩张卷积）的概念、原理及其在网络设计中的应用，对比了其与传统卷积的区别，特别是在感受野、信息保留及多尺度分割方面的优势，并介绍了在TensorFlow和MXNet框架中实现空洞卷积的具体方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、空洞卷积的提出

空洞卷积（atrous convolutions）又名扩张卷积（dilated convolutions），向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距。

该结构的目的是在不用pooling（pooling层会导致信息损失）且计算量相当的情况下，提供更大的感受野。 顺便一提，卷积结构的主要问题如下：

池化层不可学

内部数据结构丢失；空间层级化信息丢失。

小物体信息无法重建 (假设有四个pooling layer 则 任何小于 2^4 = 16 pixel 的物体信息将理论上无法重建。)

而空洞卷积就有内部数据结构的保留和避免使用 down-sampling 这样的特性，优点明显。

二、空洞卷积原理

如下如，卷积核没有红点标记位置为0，红点标记位置同正常卷积核。

假设原始特征为feat0，首先使用扩张率为1的空洞卷积生成feat1，feat1上一点相对feat0感受野为3*3（如图a）；

然后使用扩张率为2的空洞卷积处理feat1生成feat2（如图b），使第一次空洞卷积的卷积核大小等于第二次空洞卷积的一个像素点的感受野，图b即feat1上一个点综合了图a即feat0上3*3区域的信息，则生成的feat2感受野为7*7，即整个图b深色区域；

第三次处理同上，第二次空洞卷积的整个卷积核大小等于第三次空洞卷积的一个像素点的感受野，图c即feat2上每个点综合了feat0上7*7的信息（感受野），则采用扩张率为3的空洞卷积，生成的feat3每一个点感受野为15*15。

相比较之下，使用stride为1的普通3*3卷积，三层之后感受野仅仅为(kernel-1)*layer+1=7。

三、空洞卷积问题

感受野跳跃

我们对同一张图连续三次使用扩张率为1的空洞卷积，观察整张图的中心点的感受野（如下图）

很明显，感受野不连续（我们上一小结的例子就没这个问题，所以空洞卷积依赖网络设计）。

小尺度物体检测

类似第一个问题，仍然需要调整扩张率的组合来解决这个问题。

四、网络设计研究

第一个特性是，叠加卷积的 dilation rate 不能有大于1的公约数。比如 [2, 4, 6] 则不是一个好的三层卷积，依然会出现 gridding effect。

第二个特性是，我们将 dilation rate 设计成 锯齿状结构，例如 [1, 2, 5, 1, 2, 5] 循环结构。

第三个特性是，我们需要满足一下这个式子： M_i=\max[M_{i+1}-2r_i,M_{i+1}-2(M_{i+1}-r_i),r_i]

其中 r_i 是 i 层的 dilation rate 而 M_i 是指在 i 层的最大dilation rate，那么假设总共有n层的话，默认 M_n=r_n 。假设我们应用于 kernel 为 k x k 的话，我们的目标则是 M_2 \leq k ，这样我们至少可以用 dilation rate 1 即 standard convolution 的方式来覆盖掉所有洞。

一个简单的例子: dilation rate [1, 2, 5] with 3 x 3 kernel (可行的方案)：

而这样的锯齿状本身的性质就比较好的来同时满足小物体大物体的分割要求(小 dilation rate 来关心近距离信息，大 dilation rate 来关心远距离信息)。

单分支设计的研究

通向标准化设计：Hybrid Dilated Convolution (HDC)，可以很好的满足分割需要，如下图所示，

 

多分支研究解决多尺度分割

仅仅(在一个卷积分支网络下)使用 dilated convolution 去抓取多尺度物体是一个不正统的方法。比方说，我们用一个 HDC 的方法来获取一个大（近）车辆的信息，然而对于一个小（远）车辆的信息都不再受用。假设我们再去用小 dilated convolution 的方法重新获取小车辆的信息，则这么做非常的冗余。

基于港中文和商汤组的 PSPNet 里的 Pooling module （其网络同样获得当年的SOTA结果），ASPP 则在网络 decoder 上对于不同尺度上用不同大小的 dilation rate 来抓去多尺度信息，每个尺度则为一个独立的分支，在网络最后把他合并起来再接一个卷积层输出预测 label。这样的设计则有效避免了在 encoder 上冗余的信息的获取，直接关注与物体之间之内的相关性。

 

五、常用框架API介绍

TensorFlow接口

tf.nn.atrous_conv2d(value, filters, rate, padding, name=None)

value： 指需要做卷积的输入图像，要求是一个4维Tensor，具有[batch, height, width, channels]这样的shape，具体含义是[训练时一个batch的图片数量, 图片高度, 图片宽度, 图像通道数]

filters： 相当于CNN中的卷积核，要求是一个4维Tensor，具有[filter_height, filter_width, channels, out_channels]这样的shape，具体含义是[卷积核的高度，卷积核的宽度，图像通道数，卷积核个数]，同理这里第三维channels，就是参数value的第四维

rate： 要求是一个int型的正数，正常的卷积操作应该会有stride（即卷积核的滑动步长），但是空洞卷积是没有stride参数的，这一点尤其要注意。取而代之，它使用了新的rate参数，那么rate参数有什么用呢？它定义为我们在输入图像上卷积时的采样间隔，你可以理解为卷积核当中穿插了（rate-1）数量的“0”，把原来的卷积核插出了很多“洞洞”，这样做卷积时就相当于对原图像的采样间隔变大了。具体怎么插得，可以看后面更加详细的描述。此时我们很容易得出rate=1时，就没有0插入，此时这个函数就变成了普通卷积。

padding： string类型的量，只能是”SAME”,”VALID”其中之一，这个值决定了不同边缘填充方式。

函数默认stride=1，无法改变。

结果返回一个Tensor，填充方式为“VALID”时，返回[batch,height-2*(filter_width-1),width-2*(filter_height-1),out_channels]的Tensor，填充方式为“SAME”时，返回[batch, height, width, out_channels]的Tensor。

测试代码如下：

img = tf.constant(value=[[[[1],[2],[3],[4]],
                          [[1],[2],[3],[4]],
                          [[1],[2],[3],[4]],
                          [[1],[2],[3],[4]]]],dtype=tf.float32)
img = tf.concat(values=[img,img],axis=3)

filter = tf.constant(value=1, shape=[3,3,2,5], dtype=tf.float32) 
out_img1 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=1, padding='SAME') 
out_img2 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=1, padding='VALID') 
out_img3 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=2, padding='SAME') 
#error 
#out_img4 = tf.nn.atrous_conv2d(value=img, filters=filter, rate=2, padding='VALID') 
with tf.Session() as sess:
    print('rate=1, SAME mode result:')
    print(sess.run(out_img1))
    print('rate=1, VALID mode result:') 
    print(sess.run(out_img2)) 
    print('rate=2, SAME mode result:')
    print(sess.run(out_img3)) # error #print 'rate=2, VALID mode result:' #print(sess.run(out_img4))

扩张率为1时，空洞卷积等价于普通卷积。对于SAME和VALID模式计算方式如下图所示，

扩张率为2的VALID模式计算过程，

扩张率为2的VALID模式会报错，此时卷积核大于图片，无法卷积。

MXNet接口

MXNet卷积操作自带扩张率参数，详见文档。

MXNet的通道存储与TensorFlow不太一致，所以我们打印一下（对比上面的图，可以体会到为什么除了tf外大多框架把通道放在第二维），

import  mxnet as mx
import mxnet.ndarray as nd

img = nd.array([[[[1],[2],[3],[4]],
                [[1],[2],[3],[4]],
                [[1],[2],[3],[4]],
                [[1],[2],[3],[4]]]])
img = nd.concat(img, img, dim=-1)
img = nd.transpose(img, axes=(0, 3, 1, 2))

w = nd.ones([5, 2, 3, 3])
b = nd.array([0 for _ in range(5)])
img

[[[[1. 2. 3. 4.]
   [1. 2. 3. 4.]
   [1. 2. 3. 4.]
   [1. 2. 3. 4.]]

  [[1. 2. 3. 4.]
   [1. 2. 3. 4.]
   [1. 2. 3. 4.]
   [1. 2. 3. 4.]]]]
<NDArray 1x2x4x4 @cpu(0)>
nd.Convolution(img, w, b, kernel=w.shape[2:], num_filter=w.shape[0], stride=(1, 1), pad=(1,1), dilate=(1,1))

[[[[12. 24. 36. 28.]
   [18. 36. 54. 42.]
   [18. 36. 54. 42.]
   [12. 24. 36. 28.]]

  [[12. 24. 36. 28.]
   [18. 36. 54. 42.]
   [18. 36. 54. 42.]
   [12. 24. 36. 28.]]

  [[12. 24. 36. 28.]
   [18. 36. 54. 42.]
   [18. 36. 54. 42.]
   [12. 24. 36. 28.]]

  [[12. 24. 36. 28.]
   [18. 36. 54. 42.]
   [18. 36. 54. 42.]
   [12. 24. 36. 28.]]

  [[12. 24. 36. 28.]
   [18. 36. 54. 42.]
   [18. 36. 54. 42.]
   [12. 24. 36. 28.]]]]
<NDArray 1x5x4x4 @cpu(0)>
nd.Convolution(img, w, b, kernel=w.shape[2:], num_filter=w.shape[0], stride=(1, 1), pad=(2,2), dilate=(2,2))

[[[[16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]]

  [[16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]]

  [[16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]]

  [[16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]]

  [[16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]
   [16. 24. 16. 24.]]]]
<NDArray 1x5x4x4 @cpu(0)>

六、参考来源

Multi-scale Context Aggregation by Dilated Convolutions

【Tensorflow】tf.nn.atrous_conv2d如何实现空洞卷积？

如何理解空洞卷积（dilated convolution）？

 

YOLOv8改进 | 卷积模块 | SAConv可切换空洞卷积
kay_545
07-03 1950
yolov8，yolov8改进，SAConv
探索深度学习的边界：使用 TensorFlow 实现高效空洞卷积（Atrous Convolution）的全面指南
Von_016's Blog
02-04 859
是 TensorFlow 函数，用于执行空洞卷积，也称为带孔卷积或扩张卷积。这个函数是更通用函数的简化版本，主要用于保持向后兼容性。空洞卷积涉及使用4-D值和过滤器张量进行的2-D卷积过程。这种技术的独特之处在于，它在卷积过程中引入了间隔或“孔”。当rate参数设置为一时，它执行标准的2-D卷积。然而，当rate大于一时，卷积操作在输入中引入间隔，有效地在高度和宽度维度上每rate像素采样输入值。这种间隔类似于使用上采样的过滤器，通过在过滤器的高度和宽度连续值之间插入rate - 1个零来创建。
【深度学习】空洞卷积（Atrous Convolution）
热门推荐
晓峰博客笔记
04-09 5万+
优点：在不做pooling损失信息和相同的计算条件下的情况下，加大了感受野，让每个卷积输出都包含较大范围的信息。空洞卷积经常用在实时图像分割中。当网络层需要较大的感受野，但计算资源有限而无法提高卷积核数量或大小时，可以考虑空洞卷积。 空洞卷积（dilated convolution）是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一种卷积思路。利用添加空洞扩大感受野，让原本3x3...
空洞卷积
yunyi4367的博客
11-08 3127
空洞卷积（atrous convolutions）又名扩张卷积（dilated convolutions），向卷积层引入了一个称为 “扩张率(dilation rate)”的新参数，该参数定义了卷积核处理数据时各值的间距。 卷积核为3、扩张率为2和无边界扩充的二维空洞卷积一个扩张率为2的3×3卷积核，感受野与5×5的卷积核相同，而且仅需要9个参数。你可以把它想象成一个5×5的卷积核，每隔一行或一列
空洞卷积（Atrous Convolution）
ywm_up
02-09 5093
优点：在不做 polling 损失信息和相同的计算条件下的情况下，增大了感受野，让每个卷积输出都包含较大范围的信息。空洞卷积经常应用在实时图像分割中。当网络层需要较大的感受野，但计算资源有限而无法提高卷积核数量或大小时，可以考虑空洞卷积。 空洞卷积（atrous convolutions）又称扩张卷积（dilated convolutions），是针对图像语义分割问题中下采样会降低图像分辨率、丢失信息而提出的一个卷积网络。利用添加空洞扩大感受野，让原本3×3的卷积核，在相同参数量核计算量下拥有5×5（d.
频域自适应空洞卷积FADC详解
hasakie的博客
01-11 1530
通过FADC的自适应膨胀率机制，模型能够根据目标的大小和复杂度动态调整感受野，从而在保持计算效率的同时，最大化检测准确性。这是因为自适应膨胀率能够根据不同位置的特征需求，灵活调整感受野的大小，从而在保持计算效率的同时，最大化模型的表征能力。通过这种方式，AdaKern模块成功地平衡了有效带宽和感受野大小之间的矛盾，为FADC在各种复杂的视觉任务中取得了优异性能奠定了坚实的基础。这种创新的设计不仅提高了模型的表征能力，还为计算机视觉领域提供了一种新的思路，有望推动更多高性能、低延迟的视觉模型的开发。
语义分割算法——应用空洞卷积和CRF的DeepLabv1
古月居
07-19 962
深度卷积神经网络(deep Convolutional Neural Networks, DCNN)最近在高级视觉任务(如图像分类和目标检测)方面表现出了最先进的性能。本篇文章结合了 DCNN 和概率图形模型的方法，来解决像素级分类任务（也称为“语义图像分割”）。作者认为，DCNN最后一层的响应无法在位置上进行准确的对象分割。这是因为使 DCNN 的非常不变性属性是适用于更高级任务的。作者通过将最终 DCNN 层的响应与完全连接的条件随机场 (CRF) 相结合，来克服深度网络的这种定位很差的缺点。
深度学习之空洞卷积
03-09
深度学习之空洞卷积原始出处论文，介绍了空洞卷积实现方法以及实现意义。
空洞卷积（dilation）
weixin_61057398的博客
02-11 1044
具体来说，空洞卷积是在标准的卷积核里注入空洞，以此来增加感受野/接受域。相比原来的正常卷积运算，空洞卷积多了一个超参数，称之为扩张率（Dilation Rate），它指的是卷积核的间隔数量。空洞卷积可以在不用pooling层（pooling层会导致信息损失）且计算量相当的情况下，提供更大的感受野，并有内部数据结构的保留和避免使用down-sampling这样的特性。至于空洞卷积最开始具体是用在哪个网络之中，可能因不同的研究和应用而有所不同，但它在图像语义分割任务中的提出和应用是具有里程碑意义的。
关于空洞卷积
最新发布
qq_45670407的博客
04-07 884
关于神经网络中的空洞卷积
空洞卷积（Atrous/Dilated Convolution）
JNing
09-06 2694
由Deeplabv1提出的。 有两种实现方式： 一，卷积核填充0。 二，输入等间隔采样。 扩张率(dilation rate)，也叫空洞数(Hole Size)。 标准卷积可以看做空洞卷积rate=1（Note：rate=2表示中间空洞间隙为1）的特殊形式。 中间的空洞间隙，计算感受野的时候，也属于感受野的有效范围。（单个卷积的感受野计算公式：[(rate-1)(k-1) + k] ** 2 ，其中(rate-1)(k-1) 是因为空洞而新增加的边长增量） 作用..
空洞卷积(dilated convolution)
shuijinghua的博客
03-23 2687
空洞卷积(dilated/Atrous convolution)是在标准的卷积中引入空洞,以此来增加感受野reception field,相比原来的正常卷积,空洞卷积多了一个hyper-parameter称之为dilation rate指的是间隔数量(正常的convolution 是dilation rate=1),以3*3为例,标准卷积和空洞卷积示意如下: ...
空洞卷积（dilated convolution）
Erlig的博客
02-03 507
论文：Multi-scale context aggregation with dilated convolutions简单讨论下dilated conv，中文可以叫做空洞卷积或者扩张卷积。首先介绍一下dilated conv诞生背景，再解释dilated conv操作本身，以及应用。首先是诞生背景，在图像分...
传统空洞卷积
03-21
<think>好的，我现在要详细思考用户关于传统空洞卷积的问题。用户想了解其算法原理、实现方法以及在深度学习中的应用。首先，我需要回忆空洞卷积的基本概念，然后整理相关知识，确保准确无误。 首先，传统卷积和空洞卷积的区别。传统卷积的卷积核在输入数据上是连续扫描的，而空洞卷积通过在卷积核元素之间插入空洞（即间隔）来扩大感受野，同时不增加参数数量。这一点是关键，因为更大的感受野有助于捕捉更广泛的上下文信息，这在图像分割、目标检测等任务中非常重要。 接下来是算法原理。空洞卷积的数学表达式需要明确。假设原始卷积核大小为$k \times k$，扩张率为$d$，那么实际等效的卷积核大小变为$k' = k + (k-1)(d-1)$。例如，3x3的卷积核，d=2时，等效大小为3 + 2*1 = 5，即5x5的等效感受野。这里可能需要用公式表示，比如新的位置计算方式，考虑扩张后的位置索引。 然后是实现方法。在代码层面，空洞卷积可以通过设置卷积层的dilation参数来实现。例如，在PyTorch中，nn.Conv2d的参数dilation默认为1，设置为更大的值即可实现空洞卷积。需要给出一个简单的代码示例，比如定义一个带有空洞卷积的层，并解释参数设置的影响。 接下来考虑深度学习中空洞卷积的应用场景。比如在图像分割任务中，如DeepLab系列网络使用空洞卷积来保持高分辨率特征图的同时扩大感受野，从而更准确地定位物体边界。此外，WaveNet中使用空洞卷积来捕捉长距离依赖，处理音频序列。 还需要注意空洞卷积可能带来的问题，比如网格效应（gridding），即当扩张率较大时，卷积核的有效覆盖区域可能出现不连续，导致信息丢失。这时候可能需要结合其他技术，如混合不同扩张率的空洞卷积层，或者使用跳跃连接来缓解。 在解释过程中，要引用用户提供的资料中的相关内容。比如引用[^3]提到的传统全连接网络参数冗余的问题，而空洞卷积通过扩大感受野减少参数量的优势与之对比。同时，引用[^2]中关于深度可分离卷积的运算量计算方式，可以与空洞卷积的参数数量进行比较，强调空洞卷积在保持参数量的同时增加感受野的优点。 最后，生成相关问题时要围绕用户可能感兴趣的扩展点，如应用场景、不同框架的实现差异、与普通卷积的对比等，确保问题具有针对性，帮助用户进一步探索。</think>### 传统空洞卷积详解 #### 1. 算法原理 空洞卷积（Dilated Convolution）是一种通过**插入空洞（间隔）**扩大感受野的卷积方法，**不增加参数量**。其核心思想是在卷积核元素之间插入$d-1$个零值空洞，扩张率为$d$（$d=1$时为普通卷积）。 数学表达式为： $$(F *_{d} k)(p) = \sum_{s+dt=p} F(s)k(t)$$ 其中$d$为扩张率，$k$为卷积核，$F$为输入特征图[^3]。 例如： - 当$d=2$时，$3\times3$卷积核等效于覆盖$5\times5$区域的稀疏核 - 感受野计算：$r = (k-1) \times d + 1$ #### 2. 实现方法 在主流框架中通过设置`dilation`参数实现： ```python # PyTorch实现示例 import torch.nn as nn dilated_conv = nn.Conv2d( in_channels=64, out_channels=128, kernel_size=3, dilation=2 # 设置扩张率 ) ``` 此时实际覆盖的输入区域为$5\times5$，但参数数量仍保持$3\times3$[^2]。 #### 3. 深度学习应用 - **图像分割**：DeepLab系列通过堆叠空洞卷积保持特征图分辨率 - **时序建模**：WaveNet利用指数增长扩张率捕获长距离依赖 - **医学影像**：处理大尺寸图像时保持局部细节与全局上下文平衡 #### 4. 优势与局限 ✓ 优势： - 线性增加感受野（$O(d)$） - 保持参数效率（参数量仅$O(k^2)$） ✗ 局限： - 扩张率过大会产生**网格效应**（相邻采样点无重叠） - 需配合跳跃连接等结构优化信息流[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值