30、对抗域适应中的分布对齐与语义一致性研究

对抗域适应中的分布对齐与语义一致性研究

1. 引言

深度学习作为机器学习中蓬勃发展的领域，在计算机视觉等方面取得了显著进展。然而，当将预训练网络应用于其他数据集时，数据集的分布偏差往往会导致学习质量下降。域适应（DA）作为迁移学习的一种情况，利用一个或多个相关源域中的标记数据，将知识迁移到标记数据稀缺的目标域。基于特征的DA通过将原始数据映射到新的特征空间来匹配两个域的分布。

对抗域适应（ADA）是基于特征的DA中最受欢迎的方向之一，它受到生成对抗网络（GAN）的启发。ADA通过特征提取器和域判别器来寻找特征空间。域判别器试图区分提取的特征是来自源域还是目标域，而特征提取器则试图提取无法被域判别器识别的特征。

从概率角度来看，ADA匹配源域和目标域之间的边缘分布。但忽略标签的语义信息可能会导致分类任务的性能不佳。例如，特征提取器将目标域中的狗图像映射到源域中猫的特征，尽管源域和目标域的分布匹配，但这两个图像会被仅在源域上训练的分类器误分类。

为了解决这个问题，引入了一种新的ADA方法，即条件分布对齐和语义一致性增强的基于对抗的域适应（EADA）。该算法是无监督域适应（UDA）任务的通用框架，当目标域没有标记数据时使用。将EADA应用于DA的视觉分类任务，实验结果显示分类准确率有明显提高。

2. 相关工作

深度神经网络方法在有足够标记数据的计算机视觉任务中取得了丰富的成果。但训练良好的网络在处理数据分布偏差方面表现较弱。神经网络的层数越深，提取的特征就越具任务特异性。受此现象启发，出现了一系列在更深层匹配源域和目标域分布的研究。有的工作使用最大均值差异（MMD）距离来衡量两个分布之间的差异，并仅在最后一层匹配分布。除了