本文提出一种无监督图像域转换模型，利用注意力机制预测转换过程中的注意力图，结合自我正则化损失，确保生成图像既保留源图像特征，又具有目标域风格。模型包括G-0生成器和G-attn注意力模块，通过对抗学习和自正则化损失进行训练。实验结果显示，该方法在图像转换任务中表现出色。
本文提出了一种结合Attention机制和self-Regularization的无监督图像域转换模型。
问题
为了解决两个域间的图像转换问题，需要学习从一个域到另一个域的映射，将X域中的图像转换到Y域。
本文的目的是使生成的图像看起来和源图像(X域)是相似的，同时具备Y域图像的特征。
如上图所示，图像从Horse域转换到了Zebra域，但是背景部分并没有变化。
方法
由于现在的图像转换方法经常会对图像作一些多余的修改，于是作者提出加入一个attention模型来预测一个attention map来指导图像转换。
模型结构如上图所示。
生成器G包含了两个部分，常见的生成器G-0和attention部分G-attn。
G-0负责将输入图像x转换到Y域，G-attn负责预测一个 attention mask。其中G-attn(x)和x同纬度，并且每个像素点都是一个0-1的概率值。
最后在根据G-attn(x)将x,G-0(x)相加得到G(x)，之后会具体介绍是怎么加的。
Loss
生成器loss
其中
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
