Dropblock的处理方法

目录

一、什么是DropBlock?

二、DropBlock与传统的DorpOut的区别

三、DropBlock的处理方法

四、具体的算法

五、引入DropBlock的目的

---

一、什么是DropBlock?

        DropBlock 是一种正则化技术，用于深度神经网络的训练。它是对传统的 Dropout 方法的一种改进，旨在更好地处理卷积神经网络（CNN）中的特征图。

二、DropBlock与传统的DorpOut的区别

        传统的 Dropout 在训练时会随机地将某些神经元的输出置零，以防止过拟合。而 DropBlock 引入了更加结构化的随机失活机制，它不是随机地丢弃单个神经元，而是随机地屏蔽一块区域的神经元。

三、DropBlock的处理方法

        相比于传统的 Dropout 技术， DropBlock 不是随机屏蔽掉一部分特征（注意是对特征图进行屏蔽），而是随机屏蔽掉多个部分连续的区域。这种方法有助于减少神经网络中的冗余连接，从而提高模型的泛化能力

DropBlock 的处理方法主要包括以下几个步骤：

1. 选择块： 在每个训练迭代中，随机选择一些块（blocks）。

2. 屏蔽块： 对于选择的块，将整个块的输出设为零。这个过程模拟了在特定区域进行失活的效果。