DropBlock： A regularization method for convolutional networks

最新推荐文章于 2024-06-03 16:45:52 发布

原创

最新推荐文章于 2024-06-03 16:45:52 发布 · 2.9k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#dropblock #dropout #卷积 #深度学习 #过拟合

DropBlock是一种新的正则化方法，旨在防止卷积神经网络过拟合。它通过在特征图上选择区域进行归零操作，鼓励网络学习鲁棒特征。与传统的dropout主要应用于全连接层不同，DropBlock直接作用于卷积层，通过调整block_size、γ和keep_prob等参数实现有效正则化。实验证明，DropBlock能显著提高网络的泛化性能，尤其是在block_size为7*7时效果最佳。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

arxiv上一篇新文章，讲如何在卷积层进行dropout来防止网络过拟合。

原来的dropout方法多是作用在全连接层上，在卷积层应用dropout方法意义不大。文章认为是因为每个featuremap的位置都有一个感受野范围，仅仅对单个像素位置进行dropout并不能降低featuremap学习的特征范围，也就是说网络仍可以通过该位置的相邻位置元素去学习对应的语义信息，也就不会促使网络去学习更加鲁邦的特征。

既然单独的对每个位置进行dropout并不能提高网络的泛化能力，那么很自然的，如果我们按照一块一块的去dropout，就自然可以促使网络去学习更加鲁邦的特征。思路很简单，就是在featuremap上去一块一块的找，进行归零操作，类似于dropout，叫做dropblock。在这里插入图片描述
上图就是论文整体思想介绍。dropblock有三个比较重要的参数，一个是block_size，用来控制进行归零的block大小；一个是 $\gamma$ ，用来控制每个卷积结果中，到底有多少个channel要进行dropblock；最后一个是keep_prob，作用和dropout里的参数一样。