深度学习中的数据增强方法之FMix

论文题目：FMix: Enhancing Mixed Sample Data Augmentation-2020
官方代码：FMix-Pytorch

一、摘要

近几年，样本融合的数据增强方法获得了越来越多的关注，比如一些很成功的变体-MixUp和CutMix。受到CutMix方法的启发，我们提出了FMix方法。FMix方法使用了从傅里叶空间中采样得到的低频图像的二值模板。FMix性能超过了MixUp和CutMix。

二、介绍

2.1 MixUp和CutMix方法的优缺点

MixUp在样本之间进行插值，而CutMix方法从一个随机选取的图像中选择一块矩形区域，将该区域插入到另一个图像中，得到最终的输出图像。MixUp抑制了模型学习特定特征的能力，包括更细致的特征。
我们认为，CutMix能够使得模型保持对真实数据的良好了解，因为观察的特征通常仅仅来源于一个数据点。同时CutMix通过动态增加可观察数据点的数量降低了模型的过拟合风险。然而，CutMix仅仅使用了一个固定的矩形区域，这就有了不必要的限制。

2.2 FMix方法

我们发现插值能造成过早的紧缩，使得模型更偏重于一般特征。而使用模板的融合能够保存语义信息分布，更适合分类任务中的增强。
基于上述的问题，提出了FMix方法。FMix使用了任意形状的模板（不单单是固定不变的一个矩形区域），同时保留了CutMix的性能。

三、方法

FMix方法流程如下：

• 从beta分布中采样得到lambda值
• 从傅里叶空间中获取低频图像
• 利用低频图像获取二值图像mask
• 随机选择两张图像Image1,Image2
• 分别计算$x_1$ = Image2 X mask 和 $x_2$ = Image1 X（1-mask）
• 输出图像Image = $x_1$ + $x_2$

实现效果如下图所示：

四、代码实现