QS-Attn 论文和代码运行讲解——图像风格迁移

论文：arxiv

代码：github

简介：

        非配对图像到图像(I2I)翻译通常需要最大化跨不同域的源图像和翻译图像之间的互信息，这对于生成器保留源内容并防止其进行不必要的修改至关重要。自监督对比学习已经在I2I中得到成功的应用。通过约束来自相同位置的特征比来自不同位置的特征更接近，它隐含地确保了结果从源获取内容。然而，以往的工作使用随机位置的特征来施加约束，由于某些位置包含的源域信息较少，可能不合适。而且，特征本身并不能反映与他人的关系。本文通过有意选择有意义的锚点进行对比学习来解决这些问题。我们设计了一个查询选择注意力(QS-Attn)模块，它比较源域中的特征距离，给出每行具有概率分布的注意力矩阵。然后我们根据它们的显著性度量来选择查询，从分布中计算出来。将选取的数据作为对比损失的锚点。同时，采用简化的注意矩阵对两个域的特征进行路由，使源关系在综合中保持不变。

模型框架：

        源域图像I_x由生成器G转换为目标域图像G(I_x)。编码器E从这两幅图像中提取特征，然后QS-Attn模块选择显著特征建立对比损失。使用一个判别器D来构造对抗损失。橙色、蓝色和绿色斑块分别表示正、负和锚, 利用注意力对每一行按其显著性度量进行排序得到A_g，利用A_QS