Convolution with even-sized kernels and symmetric padding论文解读笔记

导读

我们都习惯使用3*3的卷积核，这篇文章介绍了偶数卷积核其实表现更强 。
首先附上文章地址：
Convolution with even-sized kernels and symmetric padding【PDF】

摘要

紧凑型卷积神经网络主要通过深度卷积，扩展的通道和复杂的拓扑来提高效率，这反过来又加剧了训练过程。 此外，在这些模型中，3×3内核占主导地位，而偶数大小的内核（2×2、4×4）很少被采用。 在这项工作中，我们通过信息侵蚀假设来量化偶数大小的核卷积中发生的偏移问题，并通过在特征图的四个侧面（C2sp，C4sp）提出对称填充来消除它。 对称填充以很少的计算成本释放了偶数大小的内核的泛化能力，使其在图像分类和生成任务方面优于3×3内核。此外，C2sp获得了与新兴紧凑型模型相当的精度，而训练期间的内存和时间消耗却少得多。 对称填充和偶数卷积可以很好地实现到现有框架中，为体系结构设计提供有效的元素，尤其是在强调训练工作的在线和持续学习场合。

引言

深度卷积神经网络（CNN）在许多计算机视觉任务中都取得了重大成功，例如图像分类[37]，语义分割[43]，图像生成[8]和游戏[29]。 除了特定领域的应用程序之外，还设计了各种体系结构来提高CNN的性能[3,12,15]，其中特征提取和表示功能主要通过包含越来越多的参数和操作的更深，更广泛的模型来增强 。 因此，内存开销和计算复杂性极大地阻碍了它们在嵌入式AI系统中的部署。 这激发了深度学习社区设计具有减少资源的紧凑型CNN，同时仍保持令人满意的性能。

紧凑型CNN大多从体系结构工程中获得泛化功能。 随着网络的深入，残差连接[12]和密集级联[15]缓解了降级问题。 特征图（FM）通过逐点卷积（C1）和瓶颈架构进行扩展[35,40]。 多分支拓扑[38]，组卷积[42,47]和信道混洗操作[48]以网络碎片[26]为代价恢复了准确性。 最近，有一种趋势是具有<10M参数和<1G FLOPs的移动模型[14,24,26]，其中深度卷积（DWConv）[4]起到了至关重要的作用，因为它使跨通道相关性和空间相关性解耦。 除了人类先验和手工设计之外，新兴的神经体系结构搜索（NAS）方法还通过强化学习[49]，演化算法[32]等来优化结构。

尽管取得了进展，但基本的空间表示仍由3×3核卷积（C3）支配，对其他核尺寸的探索却停滞不前。 偶数大小的内核被认为是劣等的，很少被用作深度CNN模型的基本构建块[37,38]。 此外，大多数紧凑模型集中于推理工作（参数和FLOP），而培训工作（内存和速度）由于复杂的拓扑[24]，扩展的通道[35]，其他转换[而被忽略或什至变得更加棘手。 17,40,48]。 随着对在线学习和持续学习应用需求的增长，应当共同解决并进一步强调培训工作。 此外，数据增强的最新进展[6，46]已显示出更强大和普遍的优势。 简单的结构与增强的增强功能相结合，很容易使复杂的建筑工程学所产生的进步黯然失色，这激发了我们重新思考基本的卷积核及其背后的数学原理。

在这项工作中，我们探索了偶数大小的内核（2×2、4×4）的泛化能力。 这些内核的直接实现在分类和生成任务中都会遇到性能下降，尤其是在深度网络中。 我们通过信息侵蚀假设对现象进行量化：偶数大小的内核具有不对称的接收场（RF），它们在最终的FM中产生像素偏移。当堆叠多个卷积时，此位置偏移会累积，从而严重侵蚀空间信息。 为了解决这个问题，我们建议使用偶数大小的内核进行卷积并在特征图（C2sp，C4sp）的每一侧使用对称填充。

对称填充不仅消除了移位问题，而且扩展了偶数大小卷积核的感受野。 各种分类结果表明，C2sp是对C3的有效分解，可节省30％-50％的参数和FLOP。 而且，与紧凑的CNN块（例如DWConv，倒颈瓶颈[35]和ShiftNet [40]）相比，C2sp在训练过程中具有超过20％的加速比和> 35％的内存节省，从而具有竞争优势。 在生成对抗网络（GAN）中[8]，C2sp和C4sp都获得了改进的图像质量和稳定的收敛。 这项工作激发了一个新的视角，充满了建筑工程的可选单元，并提供了平衡而又有效的基本但有效的替代方案。

相关工作

我们的方法属于紧凑型CNN，它们设计新的体系结构，然后从头开始对其进行训练。文献中的大多数网络压缩方法都尝试从预先训练的参考网络中削减权重[9]，