2023-CVPR-Patch-Mix Transformer for Unsupervised Domain Adaptation: A Game Perspective

一、研究背景

1. 通过类别级对齐并生成伪标签可减轻域差异，常用的类别级对齐手段有度量学习、对抗性学习、最优传输。
2. 交叉注意力可用于域对齐，但目标域伪标签的质量对交叉注意力的影响极大，而域差异极大的情况下难以生成高质量伪标签。

二、研究目标
通过构建中间域来平滑地连接源域和目标域。

三、研究动机

1. 相对于直接对齐源域、目标域，缓解二者与中间域的差异也可以促进域对齐。
2. 在不存在域差异的情况下，特征混合等同于标签混合，因此可以用混合特征与混合标签之间的交叉熵损失来衡量域差异。

四、技术路线
思路：
当域对齐时，混合patch等同于混合标签
构建中间域数据，令混合patch的预测结果接近标签
构建最大最小策略，令特征提取器与分类器在中间域数据混合效果不佳时仍能提取到域不变特征。

1. PatchMix：
   (1)分块混合图片与标签（目标域伪标签）
   
   (2)用注意力分数