ICML2019: Domain Agnostic Learning with Disentangled Representations

ICML2019: Domain Agnostic Learning with Disentangled Representations

引言

目前的domain adaptation考虑了两种情况：single source & single target（认为源域为一种分布，目标域为一种分布，进行adapt）; multi-souce & single target（存在多个源域且为不同的分布，目标域为一种分布，进行adapt）。还没有方法考虑single source & multi-target的问题，本文对解决该问题进行了探讨。 （PS. 目前还没看到解决multi-source & multi-target的方法）。

Architecture ##

由上图，首先输入样本，经过一个generator G，变换为特征向量$f_G$，然后经过disentangler D，进行特征的disentanglement：

• 抽取领域无关（domain-invariant）的特征；
• 使用class disentanglement移除类别无关（class-irrelevant）的特征；
• 进一步地，减少两个分布间的互信息（mutual information）进一步加强进行特征的disentanglement。

下面我们具体来看下。

变分自编码器

上面说的generator G，实际上就是VAEs的编码部分，将特征编码到一个高斯分布。然后经过reconstructor（图中粉色梯形）进行重构。 对于得到的每一个$\hat{f}(G)$，VAE的损失函数为：

该损失并不能保证domain-invariant或者class disentanglement，只是为了确保特征向量服从高斯分布。

Class Disentanglement

这里所谓的类别无关的，指的是剔除掉对于我们最终的分类没有用的信息，比如背景。这里通过对抗学习实现，进行分步优化。首先训练disentangler D和class identifier（图中黑色的三角），使得class identifier能尽可能的识别,使用交叉熵损失：

对于fdif_{di}f