Scaling Up Your Kernels to 31x31_ Revisiting Large Kernel Design in CNNs

研究背景

CNN曾是计算机视觉中常用的encoder，但最近CNN受到了Vision Transformers的极大挑战，在多个任务上（如图像分类、目标检测等）被Transformers超越。
为什么Transformer表现如此好？一些研究认为MHSA（multi-head self-attention）在vit中起着关键作用。MHSA更灵活，更少的归纳偏置，更能模拟长距离依赖。但一些研究也在质疑MHSA的必要性，它们将vit的高性能归因于适当的构建块和动态稀疏权值。
在这篇论文中，作者关注的是如何建立大感受野，在vit中，MHSA通常被设计成全局的或局部的，但具有大的内核，因此单个MHSA的每个输出都能够从一个大区域收集信息。但是大核卷积在CNN中使用并不普遍，在先进的CNN中，常用的方式是使用许多小卷积堆叠使其感受野和大卷积一样，上述观点自然引出了一个问题:如果我们在传统的cnn中使用几个大内核而不是许多小内核会怎么样?

使用大核卷积的指导准则

大深度卷积能在实践中更有效

大核卷积的计算成本很高，因为核的大小以二次形式增加了参数和浮点数。这一缺点可以通过应用深度卷积(depth-wise, DW)来克服。但DW卷积在GPU等现代并行计算设备上可能非常低效。并且不幸的是，我们发现现有的深度学习工具(如Pytorch)对大型DW卷积的支持很差，如表1所示。因此，我们尝试了几种方法来优化CUDA内核。基于fft的方法似乎是实现大卷积的合理方法。

identify shortcut在大内核中是至关重要的

为了证明这一点，我们使用MobileNet V2进行基准测试，因为它大量使用DW层，并且有两个已发布的变体(有或没有identify shortcut)。对于大卷积核的对应版本，我们只需将所有DW 3×3层替换为13×13。所有模型在ImageNet上以相同的训练配置训练100个epoch。下表显示，大型内核通过快捷方式将MobileNet V2的准确性提高了0.77%。而在没有快捷方式的情况下，大卷积核将准确率降低到只有53.98%。