MADA-Learning to Learn Single Domain Generalization阅读记录

方法

目标是解决单域泛化问题：模型仅在一个源域$S$中训练，但要求在许多未见过的目标域$T$上泛化良好。受到许多最近成就的启发[36,56,24]，这个具有挑战性的问题的一个有希望的解决方案是利用对抗训练[11,49]。关键思想是学习一个抗分布外扰动的鲁棒模型。更具体地说，我们可以通过解决最坏情况问题来学习模型[44]:
$$\underset{\theta }{\min }\underset{\mathcal{T}:D(\mathcal{S},\mathcal{T})\le \rho }{\sup }\mathbb{E}[{\mathcal{L}}_{\mathrm{task}}(\theta ;\mathcal{T})],（1）$$其中$D$是测量域距离的相似性度量，$\rho$表示$S$和$T$之间的最大域差异。θ是根据任务特定目标函数$L_{task}$优化的模型参数。理解：(${\min }_{\theta }$) 表示我们要最小化的是关于参数 ($\theta$) 的某个函数。(${\sup }_{\mathcal{T}:D(\mathcal{S},\mathcal{T})\le \rho }$) 表示在所有满足某个条件的训练集 ($\mathcal{T}$) 上取最大值。这里的($D(\mathcal{S},\mathcal{T})$) 表示两个数据分布之间的距离，而 ($\rho$) 是一个给定的阈值。($\mathbb{E}[{\mathcal{L}}_{\mathrm{task}}(\theta ;\mathcal{T})]$) 表示在训练集 ($\mathcal{T}$) 上关于参数 ($\theta$) 的某个损失函数的期望值。总的来说这个公式的意义是：要找到能够最小化在所有满足某种数据分布距离约束条件下的训练集上的某个损失函数的期望值的参数 ($\theta$)。这种形式的优化问题在对抗性训练或者用于泛化保证时可能会经常出现。在这里，我们关注使用交叉熵损失的分类问题:
$${\mathcal{L}}_{\mathrm{task}}(\mathbf{y},\hat{\mathbf{y}})=-\sum _i{y}_i\log ({\hat{y}}_i),（2）$$其中$\hat{\mathbf{y}}$为模型的softmax输出;$\mathbf{y}$是表示真类的one-hot向量;$y_i$和${\hat{y}}_i$分别表示$y$和$\hat{y}$的第$i$维。

根据最坏情况公式（1），我们提出了一种新的方法，基于元学习的对抗域增强(M-ADA)，用于单域泛化。图2概述了我们的方法。在第3.1节中，我们通过利用对抗性训练来增强源域，创建了“虚构”但“具有挑战性”的域。在Wasserstein自动编码器(WAE)的帮助下，任务模型从域增强中学习，这放宽了第3.2节中的最坏情况约束。我们在如3.3节所述的学会学习的框架下组织任务模型和WAE的联合训练，以及领域增强过程。最后，在第四节给出了最坏情况保证的理论证明。

对抗性域增强

我们的目标是从源域创建读个增强域。增强域要求与源域在分布上不同，以模拟不可见的域。此外，为避免增强域发散，还应满足式(1)中定义的最坏情况保证。为了实现这一目标，我们提出了对抗性域增强。
为了实现这一目标，我们提出了对抗性域增强。我们的模型由任务模型和WAE组成，如图2所示。在图2中，任务模型由特征提取器$F:X\to Z$映射图像从输入空间到嵌入空间，和一个分类器$C:Z\to Y$用于从嵌入空间预测标签。设$z$表示由$z=F(x)$得到的$x$的潜在表示。总体损失函数的表达式为：
LADA=Ltask(θ;x)⏟Classification−αLconst(θ;z)⏟Constraint+βLrelax(ψ;x)⏟Relaxation,(3) \mathcal{L}_{\mathrm{ADA}}=\underbrace{\mathcal{L}_{\mathrm{task}}(\theta;\mathbf{x})}_{\text{Classification}}-\alpha\underbrace{\mathcal{L}_{\mathrm{const}}(\theta;\mathbf{z})}_{\text{Constraint}}+\beta\underbrace{\mathcal{L}_{\mathrm{relax}}(\psi;\mathbf{x})}_{\text{Relaxation}}, (3) LADA​=Classification Ltask​(θ;x)​​−αConstraint Lconst​(θ;z)​​+βRelaxation L