6、无监督领域自适应与双工生成对抗网络

无监督领域自适应与双工生成对抗网络

1. 引言

迁移学习作为一种有效技术，通过借用不同但相关领域的知识来减少为训练新模型收集和标记大量数据的劳动和成本。迁移学习的一个子问题，无监督领域自适应（UDA），是指已标记的源域和未标记的目标域共享相同任务，但数据分布不同。UDA旨在通过减少源域和目标域之间的分布差异，使源域训练的模型能够更好地泛化到目标域。这在现实世界应用中尤为重要，尤其是在目标域中难以获得大量标注数据的情况下。

2. 域不变特征学习

2.1 早期方法

早期的方法尝试发现源域和目标域的共同特征空间，以最小化领域差异。例如，测地流核（GFK）旨在整合无限数量的子空间来模拟源和目标域之间的领域偏移，从而连接这两个域。通过将数据投影到一个低秩的公共子空间中，去除特定领域的信息，可以更好地适应目标域。

2.2 深度学习与度量学习

随着深度学习的发展，一些方法通过最小化最大均值差异（MMD）来提取深度领域不变特征，以减少领域差异。例如，深度重建分类网络（DRCN）优化了一个潜在表示，它可以在标记的源域上执行分类任务，并在未标记的目标域上进行自我重建，以提取两个域的任务有利信息。

2.3 判别性特征学习

最近的方法不仅减少领域差异，也开始关注特征的判别性。通过伪标签来处理源和目标域之间的领域差异，将无监督领域自适应转化为半监督学习，从而在具有挑战性的场景中实现了性能的显著提升。

3. 领域转换

3.1 单向转换

一些方法致力于通过领域转换来缓解领域偏移，例如，将目标域的图像转换为源域或反之。单向转换方法