Roaddd的博客

1. 概述       Label Smoothing（标签平滑），像 L1、L2 和 Dropout 一样，是一种正则化方法，通常用于分类问题，目的是防止模型在训练时过于自信地预测标签，改善泛化能力差的问题（也是解决错误标注的一种方法）。2. Label Smoothing公式如下：       y’_i表示在原标签基础上修改后的标签值，y_i为原标签值。以

1. 简介       Dropout 被广泛地用作全连接层的正则化技术，但是对于卷积层，通常不太有效。Dropout 在卷积层不 work 的原因可能是由于卷积层的特征图中相邻位置元素在空间上共享语义信息， 所以尽管某个单元被 dropout 掉，但与其相邻的元素依然可以保有该位置的语义信息，信息 仍然可以在卷积网络中流通。因此，针对卷积神经网络就需要一种结构形式的 dropout 来正 则化，即按块来丢弃。  

1） Dropout：完全随机扔。2） SpatialDropout：按 channel 随机扔。3） Stochastic Depth：按 res block 随机扔。4） DropBlock：每个 feature map 上按 spatial 块随机扔。5） Cutout：在 input 层按 spatial 块随机扔。6） DropConnect：只在连接处扔，神经元不扔。...