笔记：pixel-level domain transfer

最新推荐文章于 2024-05-07 19:57:16 发布

原创

最新推荐文章于 2024-05-07 19:57:16 发布 · 5.3k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#迁移学习 #域自适应

本文探讨如何使用对抗网络和深度学习进行像素级领域转移，通过encoder-decoder结构生成目标域图像。encoder捕获源域样本的低维语义信息，decoder负责生成目标域图像。训练过程中，结合两个判别模型：real/fake-discriminator确保生成图像与真实样本难以区分，domain discriminator则添加pair-wise约束，保持源域样本的语义信息。整个网络包括convertC（encoder和decoder）、real/fake discriminator及domain discriminator，共同实现领域间的有效转换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文结合对抗网络以及深度网络生成图像来不同域之间样本生成的问题，根据源域上的样本生成目标域上对应的样本。这个思路是用生成模型encoder获取源域上低维的语义信息，然后通过decoder来生成目标域上的图像，将encoder和decoder总称为converter，从而根据源域上的样本生成目标域上的样本。为了很好的训练converter，本文结合了两个判别模型来辅助训练。具体而言，其中生成模型中，encoder首先学习一个训练数据的64维语义信息；然后通过decoder将语义向量生成对应的目标域上的样本。判别模型中，real/fake-discriminator，是为了让生成模型生成的图片尽可能的与原有样本之间没有可分性，这个和之前GAN网络中的判别模型作用类似。Domain discriminator相当于在训练的生成模型上添加了一个pair-wise的损失，保证了生成模型生成的目标域上的图片保留了源域上样本语义信息。最终整个网络的结构如下：
architecture
其中最上面的对应网络中的生成模型，第二层的网络结构对应real/fake classifier，第三层网络对应的domain classifier。下面从这个三层结构以及训练方法来对文章内容进行介绍。
1. convertC：由encoder 和decoder构成。Encoder提取图片的低维（64维）语义信息。Decoder根据语义信息生成目标域上的样本。这里需要注意的地方是源域和目标域的样本并不是一对一的关系，而是一对多的关系。这种关系可以用下图表示：
source2target
源域上有人，目标域上没有人，但是由于从各个角度对应了不同的图片，所以目标域上的样本各种各样。
2. real/fake discriminator:这个网络的输入是图像，这个图像是目标域上的样本，样本可能是来于给的自然图像，也可能是decoder的生成的图片。这个判别模型的目