论文阅读：CutMix

CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features

CutMix：正则化策略来训练具有局部特征的强大分类器，2019ICCV

摘要

提出了CutMix增强策略：在训练图像之间剪切粘贴块，真实标签根据块的区域成比例地混合。

1 引言

增强卷积能力的训练策略：数据增广、正则化技术、随机特征丢弃。

随机特征丢弃极大地减少了训练图像上信息像素的比例，使用增强策略CutMix来解决：不只是简单地去除像素，而是用来自另一幅图像的块替换去除的区域，真实标签和填充块按像素数成比例混合。

几种相似的增广方式与性能：

2 相关研究

区域丢弃

综合训练数据。cutmix通过剪切和粘贴块来生成新样本，提高性能，CutMix的代价可忽略不计。CutMix生成可能包含多个对象的组合样本。

Mixup在局部是模棱两可且不自然的，因此会混淆模型，尤其是对于定位而言。Mixup变体执行特征级插值和其他类型的转换。CutMix不仅对图像分类任务有好处，而且定位任务和迁移学习实验中也有。

训练深度模型的技巧：权重衰减，丢弃和批归一化之类的方法。将噪声添加到CNN的内部特征或添加额外的路径到体系结构的方法。CutMix在数据级别上运行，而无需更改内部表示或架构。

3 CutMix

3.1 方法

3.2 讨论

动机：从图像中各自识别出两个对象。

• Cutout成功地使模型专注于对象的较少区分部分，但未使用部分像素效率低下
• Mixup充分利用像素，但会引入伪像。在选择识别线索时，模型很混乱，导致其在分类和定位方面表现欠佳。
• CutMix能精确定位两个对象

总结：

CutMix的错误率更低，CutMix验证错误稳定减少，多样化的训练样本可减少过拟合

4 实验

代码地址：https://github.com/clovaai/CutMix-PyTorch

4.1 分类

代码里面对ImageNet和CIFAR的Resnet采用的是不同的层，也就是没有用预训练的权重。

ImageNet

需要极大的batch size和很长的epoch才会收敛。

CIFAR

单独使用Cutout和标签平滑不会提高准确性，但一起使用时有效。

4.2 弱监督目标定位

通过仅使用类标签来训练分类器以定位目标对象。为了很好地定位目标，**重要的是使CNN从整个目标区域中提取线索，而不是将注意力集中在目标的微小可识别部分上。**学习空间分布表示是提高WSOL任务性能的关键。

4.4 鲁棒性和不确定性

深度模型很容易被输入图像上的细微且无法识别的扰动所影响，这种现象被称为“对抗性攻击” 。增强鲁棒性和不确定性的一种直接方法是通过生成看不见的样本来增广输入。

鲁棒性