dilated convolutions:扩张卷积

最近在阅读《Context Encoding for Semantic Segmentation》中看到应用了dilated convolutions。

扩张卷积与普通的卷积相比,除了卷积核的大小以外,还有一个扩张率(dilation rate)参数,主要用来表示扩张的大小。扩张卷积与普通卷积的相同点在于,卷积核的大小是一样的,在神经网络中即参数数量不变,区别在于扩张卷积具有更大的感受野。感受野是卷积核在图像上看到的大小,例如3×33×3卷积核的感受野大小为9。

(a) 普通卷积,1-dilated convolution,卷积核的感受野为3×3=93×3=9。 
(b) 扩张卷积,2-dilated convolution,卷积核的感受野为7×7=497×7=49。 
(c) 扩张卷积,4-dilated convolution,卷积核的感受野为15×15=22515×15=225。

扩展卷积在保持参数个数不变的情况下增大了卷积核的感受野,同时它可以保证输出的特征映射(feature map)的大小保持不变。一个扩张率为2的3×3卷积核,感受野与5×5的卷积核相同,但参数数量仅为9个,是5×5卷积参数数量的36%。

dilated的好处是不做pooling损失信息的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息。在图像需要全局信息或者语音文本需要较长的sequence信息依赖的问题中,都能很好的应用dilated conv。

作者:谭旭
链接:https://www.zhihu.com/question/54149221/answer/192025860
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

deconv的其中一个用途是做upsampling,即增大图像尺寸。而dilated conv并不是做upsampling,而是增大感受野。

可以形象的做个解释:

对于标准的k*k卷积操作,stride为s,分三种情况:

(1) s>1,即卷积的同时做了downsampling,卷积后图像尺寸减小;

(2) s=1,普通的步长为1的卷积,比如在tensorflow中设置padding=SAME的话,卷积的图像输入和输出有相同的尺寸大小;

(3) 0<s<1,fractionally strided convolution,相当于对图像做upsampling。比如s=0.5时,意味着在图像每个像素之间padding一个空白的像素后,stride改为1做卷积,得到的feature map尺寸增大一倍。

而dilated conv不是在像素之间padding空白的像素,而是在已有的像素上,skip掉一些像素,或者输入不变,对conv的kernel参数中插一些0的weight,达到一次卷积看到的空间范围变大的目的。

当然将普通的卷积stride步长设为大于1,也会达到增加感受野的效果,但是stride大于1就会导致downsampling,图像尺寸变小。

转载于:https://www.cnblogs.com/a-little-v/p/9300703.html

### 回答1: 扩张卷积dilated convolutions)是一种卷积神经网络中的操作,它可以在不增加参数数量的情况下增加感受野(receptive field),从而提高模型的性能。扩张卷积通过在卷积核中插入空洞(dilation)来实现感受野的扩大,这样可以在不增加卷积核大小的情况下增加感受野。扩张卷积在图像分割、语音识别等领域中得到了广泛的应用。 ### 回答2: 扩张卷积dilated convolutions)是一种在计算机视觉和图像处理等领域广泛应用的卷积方法。与传统的卷积方法不同,扩张卷积能够通过增加滤波器中间的空隙,对输入信号进行更加密集和丰富的特征提取,从而提高模型的效果和性能。 扩张卷积的实现方法是,在常规卷积滤波器中间插入一些空隙,这些空隙被称为dilation rate或dilation factor,即扩张率或膨胀系数。扩张率默认为1,表示滤波器的每个元素都依次作用于输入信号上,计算出对应的输出特征。而当扩张率大于1时,滤波器中间的空隙就会增加,使得每个元素的作用范围扩大,能够同时捕捉到更远距离的特征。 因此,扩张卷积能够提高模型学习到的感受野,加强对输入信号不同尺度和不同特征间关系的理解和表达能力。此外,扩张卷积还能够有效地减少模型卷积层的参数数量和计算负荷,提高模型的可训练性和泛化能力。 总的来说,扩张卷积是一种非常有用的卷积方法,可以应用于多种深度学习任务,包括图像分割、语音识别、自然语言处理等,为模型提供更精准、高效和全面的特征提取支持。 ### 回答3: 扩张卷积Dilated convolutions)是一种卷积神经网络(CNN)中的重要技术,它可以在保持卷积层输出形状不变的情况下增加感受野(receptive field),从而更好地处理输入图像中的局部特征。 传统卷积操作通常使用固定大小的滤波器,以缩小图像尺寸和提取特征。然而,这种方法有一个问题,就是当滤波器尺寸变大时,卷积层输出的尺寸会减小,这将导致丢失一些重要的信息,例如一些全局特征。扩张卷积正是为了解决这个问题而应运而生的。 扩张卷积中,使用的滤波器与传统卷积相同,但是在卷积计算时,滤波器中的元素不再相邻,而是跳过某些位置(空洞或dilation),这样能够增加滤波器的有效感受野大小,而不影响输出的尺寸。因此,使用扩张卷积可以在保持尺寸不变的情况下使用更大的滤波器,这有助于提取更丰富的特征,使网络能够更好地处理图像。 扩张卷积的一个很好的应用场景是在语义分割任务中。在语义分割中,需要将输入图像的每个像素分配到不同的类别中。为了实现这个任务,需要使用具有大有效感受野的滤波器,以识别图像中更广泛的上下文信息。扩张卷积可以帮助实现这个目标,同时不必调整卷积层的输出尺寸,从而提高了卷积神经网络的性能。 总之,扩张卷积是一种增加感受野的有效方法,可以提高CNN网络的性能,特别适用于语义分割等视觉任务。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值