对抗判别式领域自适应

对抗判别式领域自适应

论文链接：https://ieeexplore.ieee.org/document/8099799/

文献：E. Tzeng, J. Hoffman, K. Saenko, and T. Darrell, “Adversarial discriminative domain adaptation,” in Proceedings of the 30th IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2017, 2017, vol. 2017-July, pp. 2962–2971, doi: 10.1109/CVPR.2017.316.

领域自适应技术在不匹配说话人识别的问题中非常有效。这篇文章是图像领域的判别式对抗自适应方法，也同样可以迁移至说话人识别领域。

摘要

目的：在无监督领域自适应问题中，对抗方法是减少训练分布和测试分布之间的差别、改善泛化性能的有效又短。但如今的生成式方法在判别判别任务上性能不佳，而判别式方法，尽管能处理较大的域变换，但还未充分利用对抗生成网络的损失函数。
数据与方法：作者提出了对抗自适应方法的广义框架，进而在此基础上，提出了对抗判别式领域自适应方法 (ADDA)，该方法涉及判别式模型、无共享权重和 GAN 损失。提出的方法在三个任务上进行测试：无监督领域自适应基准任务 - 数字(MNIST、USPS 和 SVHN)、跨模态的自适应学习任务(NYUD)和跨视觉域的自适应学习任务(标准 Office - amazon, webcam, dslr)。
结果：在基准任务上，当源域和目标域相近时($\text{MNIST}\leftrightharpoons \text{USPS}$)，ADDA 与生成式方法相当；在跨模态的自适应学习任务上，大部分类别的分类性能得到了显著改进，但也存在性能降低的类别；在跨视觉域的自适应学习任务上，不同模型的ADDA都获得了一致的性能提升。

1. 引言

深度学习在各种任务和视觉领域上能够学到各种表示，然而，领域变化/领域偏差导致这些表示在新的数据集和任务上的泛化效果不佳。针对这一问题，典型的解决方法是在针对任务的数据集上进行精调。但是，获取用于精调深度网络的大规模数据是非常困难。

领域自适应方法可以减轻领域变化的有害影响，其思想是学习到两个领域的共同特征空间。其手段是以实现最小化领域变化的距离为目标优化表示，其中领域变化的衡量方法是：

1. maximum mean discrepancy (MMD)：计算两个域均值之差的范数；
2. correlation distances (CORAL)：匹配两个分布的均值和协方差；
3. 对抗损失：例如 GAN 方法的损失、反向梯度、领域混淆的损失。

对抗自适应方法是通过关于领域判别器的对抗优化目标来最小化的领域散度距离，常见的案例如生成对抗网络让生成器产生让判别器误导的图片。不同的对抗自适应方法的设计需要考虑三点：

1. 是否使用生成器，
2. 采用何种损失函数，
3. 是否共享跨域权重。

2. 广义对抗自适应

对抗无监督自适应方法的一般框架：

1. 源域：$X_s$ 及其标签 $Y_s$ 由 $p_s(x,y)$ 获得，

2. 目标域：$X_t$ 由 $p_t(x,y)$ 获得，但是无标签，

3. 目标：学习目标域表示 $M_t$ 和目标域分类器 $C_t$，使得能够在测试阶段正确地分类目标样本，即便在缺少域注释的情况下；

4. 领域自适应方法：学习源域的表示映射 $M_s$ 和源域的分类器 $C_s$，然后学会适应在目标域上的模型使用。

5. 对抗自适应方法：主要目标是正则化源域和目标域映射($M_s$ 和 $M_t$)的学习过程，以实现最小化经验性的源域和目标域映射($M_s(X_s)$ 和 $M_t(X_t)$)分布之间的距离。最后使得源域分类器 $C_s$ 能够师姐用于目标域表示，而不需要再单独为目标域训练分类器，即 $C=C_s=C_t$。

其中分类器的监督损失：
$$\begin{array}{rl}& \underset{M_s,C}{\min }{\mathcal{L}}_{\text{cls}}({\mathbf{X}}_s,Y_s)=\\ & -{\mathbb{E}}_{({\mathbf{x}}_s,y_s)\sim ({\mathbf{X}}_s,Y_s)}\sum _{k=1}^K{1}_{[k=y_s]}\log C(M_s({\text{x}}_s))\end{array}$$
判别器的监督损失：
L adv D ( X s , X t , M s , M t ) = − E x s ∼ X s [ log ⁡ D ( M s ( x s ) ) ] − E x t ∼ X t [ log ⁡ ( 1 − D ( M t ( x t ) ) ) ] \begin{aligned} &\mathcal{L}_{\text{adv}_D}(\mathbf{X}_s,\mathbf{X}_t,M_s,M_t)=\\ &\quad\quad-\mathbb{E}_{\mathbf{x}_s\sim\mathbf{X}_s}\left[\log{D(M_s(\textbf{x}_s))}\right]\\ &\quad\quad\quad\quad-\mathbb{E}_{\mathbf{x}_t\sim\mathbf{X}_t}\left[\log{(1-D(M_t(\textbf{x}_t)))}\right] \end{aligned}