ACL-gan对抗一致性损失

最新推荐文章于 2024-10-12 12:09:44 发布

原创

最新推荐文章于 2024-10-12 12:09:44 发布 · 1.9k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉

这篇博客探讨了对抗性一致性损失和周期一致性损失在图像域转换中的应用。周期一致性损失关注源图像经过转换后能还原，而对抗性一致性损失则鼓励保留源图像的特征。此外，提出了有界焦点掩模约束，确保生成器仅修改图像的特定区域并保持背景。Identityloss用于增强特征保存和图像质量，防止模式崩溃。博客还介绍了噪声编码器网络和Identityloss的数学表述。

在这里插入图片描述

对抗性一致性损失与周期一致性损失的比较。蓝色矩形和绿色矩形分别表示图像域S和T。矩形内的任意点表示该域中的特定图像。(右):给定源图像xS，周期一致性损失要求将图像翻译回来，ˆxS，应该与源图像xS相同。(左):给定源图像xS，我们合成多模态图像在其邻域分布xa，分布¯xT在
目标域XT，以及分布ˆxS从¯XT翻译而来。分布由蓝色和绿色的圆圈表示。我们不要求将图像翻译回xˆS作为特定的图像，而是将ˆxS和属于xS的分布之间的距离最小化，这样一个特定的ˆxS可以是xS周围的任何点。通过这样做，我们鼓励x¯T来保留原始图像xS的特征。
在这里插入图片描述

在这里插入图片描述

有界的焦点掩模
有些应用程序要求生成器只修改源映像的某些区域，其余部分保持不变。我们让生成器产生四个通道，其中前三个是RGB图像的通道，第四个称为有界聚焦掩模，其值在0到1之间。转换后的图像XT可以通过以下公式得到:XT = X’T©xm + Xs©(1 - xm)，其中©为元素积，Xs为源图像，X’T为发生器的前三个输出通道，xm为有界聚焦掩模。我们向生成器添加了以下约束条件，这是我们的贡献之一:

最低0.47元/天解锁文章