Visualizing Adapted Knowledge in Domain Transfer

论文地址：https://arxiv.org/abs/2104.10602

开源code：https://github.com/houyz/DA_visualization

---

引言

域转移或域适配旨在弥补源域和目标域之间的分布差距。许多现有的工作研究了无监督域自适应（UDA）问题，其中目标域是未标记的。
文章基于UDA方法（主要可以用Source-free），提出了一种基于target model和source model下只利用目标域图像生成更加接近源域目标风格图像的方法，解决了在只有模型而无法获取源域数据的情况下（source-free）如何可视化两个域间的知识差异（knowledge difference）的问题。
用图像差异代替模型差异，并且利用生成的图像，可以进一步对target model进行finetune。

在本文中，提出了一种无源图像翻译（SFIT）的方法，在不使用源图像的情况下，将目标图像翻译成源样式。具体地说，将翻译后的源样式图像提供给源模型，将原始目标图像提供给目标模型，并通过更新生成器网络强制这两个分支的类似输出。为此，使用了传统的知识蒸馏损失和一种新的关系保持损失，保持了特征映射之间的相对通道关系。

结果表明，在改变图像风格的同时，所提出的保持关系的损失也有助于缩小域间的差距，从域自适应的角度进一步解释了所提出的方法。一些结果如图1所示，观察到，即使在源自由设置下，来自两个模型的知识仍然可以驱动从目标样式到源样式的样式转换（SFIT降低颜色饱和度并使背景变白以模拟看不见的源样式）

方法

为了实现我们的目标，即在UDA中可视化自适应的知识，将一个图像  从一个特定的域转换成一个新的图像