论文阅读【6】Autoaugment: Learning augmentation strategies from data

本文提出的AutoAugment方法可以依据验证集上的损失值自动选择数据增强策略。

问题描述

数据增强基于已有的训练样本数据生成更多的训练数据，其目的就是为了使扩增的训练数据尽可能接近真实分布的数据，从而提高模型的泛化能力。数据增强分为2类：有监督的数据增强和无监督的数据增强。其中有监督的数据增强分为单样本数据增强和多样本数据增强；无监督的数据增强分为生成新的数据和数据增强策略。 本篇论文到方法属于第2类数据增强中的数据增强策略。

AutoAugment提出了一种自动数据增强的方法，通过验证集上的损失函数来指示数据增强的策略。

解决思想

policy gradient训练方法中损失函数引入validation set上的损失值
$$\theta =\theta +\alpha {\nabla }_{\theta }(S)\times R$$

具体实现

controller输出一个strategy（operation, magnitude, probability)，其模型结构是循环神经网络，一个输出是下一层的输入，经过30个softmax层后即可以获得5个sub-policy。

为什么有效

以下游任务准确性提升为目标训练，与GAN相比更有可解释性。

参考

[1] policy gradient方法
[2]Proximal Policy Optimization (PPO)详解