基于Disentangle的Image-to-Image Translation系列

Unsupervised Image-to-Image Translation Networks---VAE+GAN+Cycle 总说这篇论文是基于CoGAN的,下面是总体结构图: 文章假设来自两个不同domain的同种语义的图片具有相同的latent vector。比如白天的上海滩与黑夜的上海滩,都是上海滩(高层语义一致,即latent vector一致),而这种语义特征再经过解码成具体的表现形式(底层网络用于语义的具体表现形式)。 因此网络设计如下: E1E_1和E2E_2的高层网络进行共享(具有相同的语义),得 阅读详情

1. Unsupervised Image-to-Image Translation Networks

针对什么问题?

图像翻译旨在将图像从一个领域映射到另一个领域。在监督的设定下,数据集是成对的,领域之间的映射是可行的。但在非监督的情况下,即数据集不是成对的,而是分成两个彼此独立的领域,图像翻译的任务将会变得艰难。而现实生活中,成对的数据是很难获得的,故无监督的图像翻译更实在。

提出什么方法?

本文指出图像翻译的主要挑战是学习两个不同领域之间的联合分布。在无监督条件下,两个数据集合分别包括在不同领域中来自两个边缘分布的图像,而图像翻译的目的正是从这两个边缘分布得到联合分布。而耦合理论指出:一般情况下,存在无穷多的联合分布可以到达给定的边缘分布。因此,从边缘分布推断联合分布是一个不适合的方法。为了解决这个问题,本文对联合分布提出了额外的假设。

  • 本文提出一个共享隐藏空间的假设,即不同领域中的一对相关图像可以被映射到共享隐藏空间中的相同隐藏表达。
  • 基于上述假设,本文提出了结合了GAN和VAE的UNIT框架

效果怎么样?

本文将提出的框架应用于多种无监督的图像翻译问题并取得了高质量的翻译结果,这也从侧面反映了共享隐藏空间暗含了Cycle-Consistency Constraint(循环一致损失)。

1.1 Model

本文提出的UNIT框架如下图所示:
在这里插入图片描述

  • 其中,(a)图示了隐藏空间的含义,即Domain X 1 , X 2 X_1, X_2 X1​,X2​中的图像 x 1 , x 2 x_1, x_2 x1​,x2​都被映射到了相同的隐藏空间 z z z中
  • (b)图示了整个框架的结构
    • Domain X 1 , X 2 X_1, X_2 X1​,X2​中的图像 x 1 , x 2 x_1, x_2 x1​,x2​分别通过 E 1 , E 2 E_1, E_2 E1​,E2​映射到隐藏空间 z z z中,再分别通过 G 1 , G 2 G_1, G_2 G1​,G2​还原成自我重构图像 x ~ 1 1 → 1 , x ~ 2 2 → 2 \tilde{x}_1^{1 \rightarrow 1}, \tilde{x}_2^{2 \rightarrow 2} x~11→1​,x~22→2​或者领域翻译后的图像 x ~ 1 1 → 2 , x ~ 2 2 → 1 \tilde{x}_1^{1 \rightarrow 2}, \tilde{x}_2^{2 \rightarrow 1} x~11→2​,x~22→1​。
      • E 1 , E 2 E_1, E_2 E1​,E2​共享了最后几层网络, G 1 , G 2 G_1, G_2 G1​,G2​共享了前面几层网络
      • { E 1 , G 1 } \left\{ E_1, G_1 \right\} {E1​,G1​}, { E 2 , G 2 } \left\{ E_2, G_2 \right\} {E2​,G2​}对各自的领域 X 1 , X 2 X_1, X_2 X1​,X2​都构成了 V A E VAE VAE的结构
    • 判别器 D 1 , D 2 D_1, D_2 D1​,D2​负责验证翻译后的图像是否真实
  • 本文指出,权重共享的约束并不能保证两个领域中相关的图像能够得到相同的隐藏空间编码。因为在无监督条件下,这两个领域中没有对应的图像能够训练网络输出相同的隐藏编码。即使隐藏编码是相同的,它们在不同的领域将会具有不同的语义意义。但话又说回来,通过对抗损失的训练,两个领域中对应的图像可以被映射到相同的隐藏空间,并可以被反射回不同的领域。

1.2 Optimization

本文通过联合寻来你解决了 V A E 1 , V A E 2 , G A N 1 , G A N 2 VAE_1, VAE_2, GAN_1, GAN_2 VAE1​,VAE2​,GAN1​,GAN2​的学习问题,损失如下

m i n E 1 , E 2 , G 1 , G 2 m a x D 1 L V A E 1 ( E 1 , G 1 ) + L G A N 1 ( E 1 , G 1 , D 1 ) + L c c 1 ( E 1 , G 1 , E 2 , G 2 ) \underset{E_1, E_2, G_1, G_2}{min} \underset{D_1}{max}L_{VAE_1}(E_1, G_1) + L_{GAN_1}(E_1, G_1, D_1) + L_{cc_1}(E_1, G_1, E_2, G_2) E1​,E2​,G1​,G2​min​D1​max​LVAE1​​(E1​,G1​)+LGAN1​​(E1​,G1​,D1​)+Lcc1​​(E1​,G1​,E2​,G2​)

m i n E 1 , E 2 , G 1 , G 2 m a x D 2 L V A E 2 ( E 2 , G 2 ) + L G A N 2 ( E 2 , G 2 , D 2 ) + L c c 2 ( E 2 , G 2 , E 1 , G 1 ) \underset{E_1, E_2, G_1, G_2}{min} \underset{D_2}{max}L_{VAE_2}(E_2, G_2) + L_{GAN_2}(E_2, G_2,D_2) + L_{cc_2}(E_2, G_2, E_1, G_1) E1​,E2​,G1​,G2​min​D2​max​LVAE2​​(E2​,G2​)+LGAN2​​(E2​,G2​,D2​)+Lcc2​​(E2​,G2​,E1​,G1​)

  • 其中 L V A E L_{VAE} LVAE​旨在最小化变量的上界
  • L G A N L_{GAN} LGAN​确保了翻译后图像的真实性
  • L C C L_{CC} LCC​类似于循环一致性约束,确保了两次翻译后的图像与输入图像一致

以上损失的具体形式请参考原论文

1.3 Experiment

  • 验证指标
    • average pixel accuracy over the images in the test set
    • …
  • 对比模型
    • DANN
    • DTN
    • CoGAN
  • 数据集
    • map dataset
    • Synthetic to real
    • Dog breed conversion
    • …

下面展示本文部分的实验结果
在这里插入图片描述
在这里插入图片描述

2. Multimodal Unsupervised Image-to-Image Translation

针对什么问题?

本文指出,在许多场景中,对于交叉领域的映射是多模态的,而现有的Image-to-Image Translation方法,如Pix2Pix, CycleGAN经仅仅只能得到一个确定性的映射。这是什么意思呢?

  • 举个例子,一个冬天的场景可能会有多个状态,天气、时间、光线等因素都会使得冬天的场景看起来不一样。
  • 而现有的方法,若是做 夏天->冬天,一张夏天的场景仅能转换出到一种冬天领域下的场景,无法做到多种不同的输出。
  • 特别是,本文指出,有些方法通过注入噪音完成图像中信息的改变,但是经过训练后的网络会忽略这些噪音,从而使得噪音的注入无效。

提出什么方法?

故本文针对以上问题,提出了MUNIT模型,并做了以下的假设

  • 首先,假设图像的潜在空间(Latent Space)可以被分解为内容空间(Content Space)和风格空间(Style Space)。

    • 内容空间编码了在图像翻译时需要保留的内容
    • 风格空间代表了剩余那些输入图片中不需要保留的变量
  • 其次,假设处于不同领域中的图像共享一个共同的内容空间,但是不共享风格空间。如下图所示,其中 X 1 , X 2 X_1, X_2 X1​,X2​共享同一个内容空间,但是风格空间彼此独立。
    在这里插入图片描述

那么,在进行领域转换的时候,将内容编码和不同的随机采样的风格编码相结合,就可以得到多样化和多模态的输出。

效果怎么样?

实验表明该方法在多模态输出建模中的有效性,且能生成质量更好的图像。

2.1 Model

在这里插入图片描述

上图为模型的概述。整个模型包含了两个auto-encoders,也就是模型中的红线和蓝线,各自代表一个domain。

  • 在图(a)中,两个auto-encoders的作用如下
    • 对于 x 1 x_1 x1​,针对domain1的auto-encoders将其分解成风格空间 s 1 s_1 s1​和内容空间 c 1 c_1 c1​,再通过 L 1 L_1 L1​损失重构成原图 x 1 ^ \hat{x_1} x1​^​
    • 对于 x 2 x_2 x2​,针对domain2的auto-encoders将其分解成风格空间 s 2 s_2 s2​和内容空间 c 2 c_2 c2​,再通过 L 1 L_1 L1​损失重构成原图 x 2 ^ \hat{x_2} x2​^​
  • 在图(b)中,对于拆分后的 c 1 , c 2 c_1, c_2 c1​,c2​操作如下
    • 通过采样获取风格编码 x 1 x_1 x1​, 将其和 c 2 c_2 c2​一起输入到domain1的auto-encoders中,使其能够重构为 s 1 ^ , c 2 ^ \hat{s_1},\hat{c_2} s1​^​,c2​^​。
    • 通过采样获取风格编码 s 2 s_2 s2​, 将其和 c 1 c_1 c1​一起输入到domain2的auto-encoders中,使其能够重构为 s 2 ^ , c 1 ^ \hat{s_2},\hat{c_1} s2​^​,c1​^​。

其中,auto-encoders的构造如下图
在这里插入图片描述

  • 可以看到,内容编码和风格编码都有各自的Encoder才获得
    • 对于Content Encoder,它由几个跨步卷积紧跟着几个残差块获得
    • 对于Style Encoder,它由几个跨步卷积紧跟着几个全局的池化,并接上了全连接层
  • 之后,作者通过使用AdaIN方法将Content Code和Style Code结合了在一起,具体操作如下
    • 对于Content Code,它继续接几个残差块来不断地传播语义特征
    • 对于Style Code,它通过MLP获得AdaIN的参数,在Content Code传播的过程中结合AdaIN参数
  • 最后,再通过上采样获得最后的重构图像

其中,AdaIN的公式如下

A d a I N ( z , γ , β ) = γ ( z − μ ( z ) σ ( z ) ) + β AdaIN(z, \gamma, \beta) = \gamma(\frac{z - \mu(z)}{\sigma(z)}) + \beta AdaIN(z,γ,β)=γ(σ(z)z−μ(z)​)+β

  • z代表卷积后输出的激活值
  • μ \mu μ代表通道均值
  • σ \sigma σ代表通道标准差
  • γ , β \gamma, \beta γ,β代表MLP生成的参数

2.2 Optimization

  • 首先,是图像重构损失(Image Reconstruction),如下

    L r e c o n x 1 = E x 1 ∼ p ( x 1 ) [ ∣ ∣ G 1 ( E 1 c ( x 1 ) , E 1 s ( x 1 ) ) − x 1 ∣ ∣ 1 ] L_{recon}^{x_1} = E_{x_1 \thicksim p(x_1)}[||G_1(E_1^c(x_1), E_1^s(x_1)) - x_1||_1] Lreconx1​​=Ex1​∼p(x1​)​[∣∣G1​(E1c​(x1​),E1s​(x1​))−x1​∣∣1​]

    • 即从Domain1中采样数据 x 1 x_1 x1​,通过Domain1的Auto-Encoders来提取内容空间和风格空间,再通过Domain1的 G 1 G_1 G1​转换为重构后的图像,和原始图像 x 1 x_1 x1​做 L 1 L_1 L1​损失。
    • 同理,可以推出 L r e c o n x 2 L_{recon}^{x_2} Lreconx2​​损失。
  • 其次,是隐藏重构损失(Latent Reconstruction)

    L r e c o n c 1 = E c 1 ∼ p ( c 1 ) , s 2 ∼ q ( s 2 ) [ ∣ ∣ E 2 c ( G 2 ( c 1 , s 2 ) ) − c 1 ∣ ∣ ] L_{recon}^{c_1} = E_{c_1 \thicksim p(c_1),s_2 \thicksim q(s_2)}[||E_2^c(G_2(c_1, s_2)) - c_1||] Lreconc1​​=Ec1​∼p(c1​),s2​∼q(s2​)​[∣∣E2c​(G2​(c1​,s2​))−c1​∣∣]

    L r e c o n s 2 = E c 1 ∼ p ( c 1 ) , s 2 ∼ q ( s 2 ) [ ∣ ∣ E 2 c ( G 2 ( c 1 , s 2 ) ) − s 2 ∣ ∣ ] L_{recon}^{s_2} = E_{c_1 \thicksim p(c_1),s_2 \thicksim q(s_2)}[||E_2^c(G_2(c_1, s_2)) - s_2||] Lrecons2​​=Ec1​∼p(c1​),s2​∼q(s2​)​[∣∣E2c​(G2​(c1​,s2​))−s2​∣∣]

    • 其中 q ( s 2 ) q(s_2) q(s2​)是先验分布 N ( 0 , I ) N(0, I) N(0,I)中采样的, p ( c 1 ) p(c_1) p(c1​)由 c 1 = E 1 c ( x 1 ) c_1 = E_1^c(x_1) c1​=E1c​(x1​)得到, x 1 ∼ p ( x 1 ) x_1 \thicksim p(x_1) x1​∼p(x1​)。
    • L r e c o n c 1 L_{recon}^{c_1} Lreconc1​​通过 G 2 G_2 G2​将 c 1 , s 2 c_1, s_2 c1​,s2​转化为Domain2中的图像,并通过Domain2中的内容解码器抽取内容空间,得到重构后的 c 1 c_1 c1​的内容空间和原 c 1 c_1 c1​做 L 1 L_1 L1​损失
    • L r e c o n s 2 L_{recon}^{s_2} Lrecons2​​通过 G 2 G_2 G2​将 c 1 , s 2 c_1, s_2 c1​,s2​转化为Domain2中的图像,并通过Domain2中的风格解码器抽取风格空间,得到重构后的风格空间和原 s 2 s_2 s2​做 L 1 L_1 L1​损失
    • 同理,可以推出 L r e c o n x 2 , L r e c o n c 2 , L r e c o n s 1 L_{recon}^{x_2}, L_{recon}^{c_2}, L_{recon}^{s_1} Lreconx2​​,Lreconc2​​,Lrecons1​​。
  • 最后,是对抗损失(Adversarial Loss)

    L G A N x 2 = E c 1 ∼ p ( c 1 ) , s 2 ∼ p ( s 2 ) [ l o g ( 1 − D 2 ( G 2 ( c 1 , s 2 ) ) ) ] + E x 2 ∼ p ( x 2 ) [ l o g D 2 ( x 2 ) ] L_{GAN}^{x_2} = E_{c_1 \thicksim p(c_1), s_2 \thicksim p(s_2)}[log(1 - D_2(G_2(c_1, s_2)))] + E_{x_2 \thicksim p(x_2)}[logD_2(x_2)] LGANx2​​=Ec1​∼p(c1​),s2​∼p(s2​)​[log(1−D2​(G2​(c1​,s2​)))]+Ex2​∼p(x2​)​[logD2​(x2​)]

    • 判别器 D 2 D_2 D2​尝试区分由 x 1 x_1 x1​翻译到 x 2 x_2 x2​中的图像与 X 2 X_2 X2​中的真实图像
    • 同理,可以推出 D 1 D_1 D1​的损失 L G A N x 1 L_{GAN}^{x_1} LGANx1​​

根据以上的单一损失描述,可以得到本文的总损失如下:

m i n E 1 , E 2 , G 1 , G 2 m a x D 1 , D 2 L ( E 1 , E 2 , G 1 , G 2 , D 1 , D 2 ) = L G A N x 1 + L G A N x 2 + λ x ( L r e c o n x 1 + L r e c o n x 2 ) + λ c ( L r e c o n c 1 + L r e c o n c 2 ) + λ s ( L r e c o n s 1 + L r e c o n s 2 ) \underset{E_1, E_2, G_1, G_2}{min} \underset{D_1, D_2}{max}L(E_1, E_2, G_1, G_2, D_1, D_2) = L_{GAN}^{x_1} + L_{GAN}^{x_2} + \\ \lambda_x(L_{recon}^{x_1} + L_{recon}^{x_2}) + \lambda_c(L{recon}^{c_1} + L_{recon}^{c_2}) + \lambda_s(L_{recon}^{s_1} + L_{recon}^{s_2}) E1​,E2​,G1​,G2​min​D1​,D2​max​L(E1​,E2​,G1​,G2​,D1​,D2​)=LGANx1​​+LGANx2​​+λx​(Lreconx1​​+Lreconx2​​)+λc​(Lreconc1​+Lreconc2​​)+λs​(Lrecons1​​+Lrecons2​​)

其中, λ x , λ c , λ s \lambda_x, \lambda_c, \lambda_s λx​,λc​,λs​都是超参数。

2.3 Experiment

  • 验证指标
    • Human Preference,即人们对图像的欣赏度
    • LPIPS Distance,验证翻译后的多样性
    • Inception Score,验证多模态翻译后的真实度
  • 对比模型
    • UNIT
    • CycleGAN
    • CycleGAN*
    • BicycleGAN
  • 数据集
    • Edges <-> Shoes/handbags
    • Animal Image Translation
    • Street Scene Images
    • Summer <-> Winter

下面是挑选的实验中的几张效果图,总之就是比其他方法真实,且多样性好
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3. Diverse Image-to-Image Translation via Disentangled Representations

在写这篇论文泛读之前想说的话:本文是本次所有泛读文章中,文笔最好,实验最多的;若是对Image-to-Image Translation中Disentangle做法感兴趣,可以先从这篇读起。

针对什么问题?

本文指出Image-to-Image Translation旨在学习两个视觉域中的映射关系,但存在以下两个挑战

  • 缺乏对齐的训练数据
  • 输入单一的图像,缺乏多样化的输出结果

提出什么方法?

为了生成多样化的输出且不依靠对齐的训练数据,本文将图像嵌入到两个空间中

  • 领域不变的内容空间(Domain-Invariant Content Space),来捕捉共享信息
  • 领域专有的属性空间(Domain-Specific Attribute Space)

如下图所示
在这里插入图片描述

  • 其中,CycleGAN将 x , y x, y x,y映射到分离的隐层空间
  • UNIT将 x , y x, y x,y映射到共享的隐层空间
  • MUNIT和DRIT将 x , y x, y x,y分别映射到共享的内容空间,和专有的属性空间

效果怎么样?

大量的实验表明本文提出的方法能够生成多样化和真实的图像,并且能够被运用于多领域的图像翻译来生成多样性的输出。

3.1 Model

本文的目标是在没有成对训练数据的情况下,学习两个视觉领域之间的多模态映射。其中,本文完整的模型如下图所示
在这里插入图片描述

  • 针对领域 x , y x, y x,y,存在各自的内容编码器 E x c , E y c E_x^c, E_y^c Exc​,Eyc​和属性编码器 E x a , E y a E_x^a, E_y^a Exa​,Eya​,以及各自的解码器 G x , G y G_x, G_y Gx​,Gy​。

  • 在训练过程中,我们以领域 x x x中的图像为例。第一步,对于领域 x x x中的图像使用 E x a E_x^a Exa​抽取专有属性,再使用 E y c E_y^c Eyc​抽取领域 y y y中的内容信息,并通过领域 x x x的解码器 G x G_x Gx​将映射到领域 x x x中。第二步,使用 E x a , E x c E_x^a, E_x^c Exa​,Exc​抽取映射后图像的内容信息和专有属性,再使用 E y c E_y^c Eyc​抽取领域 y y y中的内容信息,最后通过领域 x x x的解码器 G x G_x Gx​将其映射回领域 x x x,即得到重构后的 x ^ \hat{x} x^。领域 y y y中的图像同理。

  • 在测试过程中,分为两种情况

    • 一是使用随机属性进行测试。输入图像 x x x,使用 E x c E_x^c Exc​抽取图像内容,并采样属性信息,通过 G y G_y Gy​将其映射到领域 y y y中。
    • 二是使用给定的图像抽取专有属性。输入图像 x x x,使用 E x c E_x^c Exc​抽取领域 x x x中的图像信息,再使用 E y a E_y^a Eya​抽取领域 y y y中的图像专有属性,最后通过解码器 G y G_y Gy​生成领域 y y y中的图像。
  • 为了取得更好的分解效果,本文还采用了两个策略

    • 参数共享(Weight-Sharing)。基于两个领域共享相同的隐层空间,本文共享了 E X c , E Y c E_X^c, E_Y^c EXc​,EYc​的最后几层和 G X , G Y G_X, G_Y GX​,GY​的第一层。在参数共享的策略下,内容表达能够被强制映射到同一个空间,即使得判别器无法判断学习到的内容表达到底属于领域 x x x还是领域 y y y。

    • 内容判别器(Content Discriminator)。内容的对抗损失如下

      L a d v c o n t e n t ( E X c , E Y c , D c ) = E x [ 1 2 l o g D c ( E X c ( x ) ) + 1 2 l o g ( 1 − D c ( E X c ( x ) ) ) + E y [ 1 2 l o g D c ( E Y c ( y ) ) + 1 2 l o g ( 1 − D c ( E Y c ( y ) ) ) ] L_{adv}^{content}(E_X^c, E_Y^c, D^c) = E_x[\frac{1}{2}logD^c(E_X^c(x)) + \frac{1}{2}log(1 - D^c(E^c_X(x))) + \\ E_y[\frac{1}{2}logD^c(E_Y^c(y)) + \frac{1}{2}log(1 - D^c(E^c_Y(y)))] Ladvcontent​(EXc​,EYc​,Dc)=Ex​[21​logDc(EXc​(x))+21​log(1−Dc(EXc​(x)))+Ey​[21​logDc(EYc​(y))+21​log(1−Dc(EYc​(y)))]

本文除了双领域之间的转换,还尝试了多领域之间的转化,我们这里也提一下,模型如下图
在这里插入图片描述
模型和双领域转换类型,存在两方面的不同

  • 多了领域编码(Domain Code),其实就是 O n e − h o t One-hot One−hot向量,领域编码将会在 E a E_a Ea​抽取领域的专有属性时嵌入到特征里。
  • 内容判别器不仅需要判别图像是否真实,还需要判别来自哪一个领域,应该就是条件GAN判别器的做法,输入分为图像内容和条件。

3.2 Optimization

除了上述的内容判别器损失,本文还使用了交叉循环一致性损失(Cross-cycle Consistency Loss),使得模型可以将任意图像的内容和目标领域中另一个图像的属性表达结合在一起。

  • 交叉循环一致性损失分为两个步骤:前向翻译和后向翻译,也就是上文模型图的内容,即映射和重构。损失如下

    L 1 c c ( G X , G Y , E X c , E Y c , E X a , E Y a ) = E x , y [ ∣ ∣ G X ( E Y c ( v ) , E X a ( u ) ) − x ∣ ∣ 1 + ∣ ∣ G Y ( E X c ( u ) , E Y a ( v ) ) − y ∣ ∣ 1 ] L_1^{cc}(G_X, G_Y, E_X^c, E_Y^c, E_X^a, E_Y^a) = E_{x,y}[||G_X(E_Y^c(v), E_X^a(u)) - x||_1 + \\ ||G_Y(E_X^c(u), E_Y^a(v)) - y||_1] L1cc​(GX​,GY​,EXc​,EYc​,EXa​,EYa​)=Ex,y​[∣∣GX​(EYc​(v),EXa​(u))−x∣∣1​+∣∣GY​(EXc​(u),EYa​(v))−y∣∣1​]

除了内容对抗损失和交叉循环一致性损失,本文还使用了其他损失来确保网络的训练,如下图所示
在这里插入图片描述

  • L 1 r e c o n L_{1}^{recon} L1recon​在训练中完成自我重构
  • L K L L_{KL} LKL​从先验高斯分布中采样,对齐属性的表达
  • L a d v d o m a i n L_{adv}^{domain} Ladvdomain​鼓励生成器G在每个领域生成真实的图像
  • L 1 l a t e n t L_1^{latent} L1latent​对隐藏属性进行重构
  • L m s L_{ms} Lms​进一步提升多样性

损失的详情请看原文。

3.3 Experiment

  • 验证指标
    • FID
    • LPIPS
    • JSD and NDB
    • User Performance
  • 对比模型
    • DRIT
    • MUNIT
    • Cycle/Bicycle GAN
  • 数据集
    • Winter -> Summer
    • Cat -> Dog
      本文的实验极其丰富,此外还尝试了生成高分辨率的图像,建议大家阅读原文,我下面就稍微贴几张。
      在这里插入图片描述
      在这里插入图片描述
      在这里插入图片描述

4. Image-to-Image-Translation-for-Cross-Domain-Disentanglement

本文的主要思想和上述论文类似,主要不同点在于引入了 G R L GRL GRL模块使得编码器能分别提取共享信息和专有属性。

针对什么问题?

从场景的固有属性出发,将光照、阴影、视点、物体方向等场景事件分离出来,一直是计算机视觉长期追求的目标。当应用于深度学习时,这允许模型了解实体独立的变量因素,若信息与当前任务无关,那么模型可以沿着特定的变化因素边缘化信息。这样的分解过程对于基于表示学习的任务提供了更加精准的控制。故本文旨在将分解表示和图像翻译结合在一起,以达到更好的效果。

提出什么方法?

本文将分解目标和图像翻译结合,引入了跨域分解的概念,其目的是将域内专有的属性和跨域共享的属性分开。为了做到这一点,本文将交叉领域中图像的表示分解为三部分:交叉领域共有的信息,以及各自领域专有的信息,如下图
在这里插入图片描述

  • 图中两个数字领域共享的是没有颜色信息的数字
  • 专有的信息是,数字的背景信息等

效果怎么样?

  • 多样性样本(Sample diversity)。可以基于给定的输入图片输出多样化的结果
  • 跨域检索(Cross Domain Retrieval)。可以根据域之间共享的表示部分在两个域中检索相似的图像
  • 专有域的图像迁移(Domain-specific Image Transfer)。领域专有的特征可以在图像间传输
  • 专有域的插值(Domain-specific Interpolation)。可以在两个图像间插入领域专有的特征。

4.1 Model

本文的模型如下图,左边是图像翻译模块,右边是跨域自动编码器。
在这里插入图片描述

  • 首先要分清楚图中各模块的作用,本文对模块的命名不是很友好,建议先看右边的跨域编码器。我们以右图中对于领域 X X X的操作为例,领域 X X X的编码器 G e G_e Ge​将图像分解为共享的信息部分 S x S^x Sx和专有的属性部分 E x E^x Ex;再将 E x E^x Ex和来自领域 Y Y Y中由编码器 F e F_e Fe​抽取的图像的共享信息 E y E^y Ey相结合,输入到领域 X X X的解码器 F d F_d Fd​,可以得到重构后的图像 x x x。同理对于领域 Y Y Y的操作。
  • 我们再看图中左边的图像翻译。我们以领域 X X X操作为例,依然通过 G e G_e Ge​提取共享信息 S x S_x Sx​以及专有特征 E x E^x Ex。
    • 首先讲一下GRL操作。在黄色虚线那部分,作者认为由于 E x E^x Ex中体现的是专有属性,必不能包含领域 Y Y Y中的信息,所以仅仅使用 E x E^x Ex不可能生成领域 Y Y Y中的图像。为了强化这种认知,作者用了我看起来很“奇葩”的行为,他尝试使用 E x E^x Ex生成领域 Y Y Y中的图像,却有积极的引导特征学习来防止这种情况发生。故作者专门设置了一个GRL(Gradient Reversal Layer)模块来学习与域无关的特性。在网络的前向传播过程中,它作为指示函数;在反向传播的时候,返回相应分支的梯度。
    • 剩下的就是常规操作,将 S x S^x Sx和采样得到的属性结合,并通过解码器 G d G_d Gd​将 x x x翻译到领域 Y Y Y中,再通过领域 Y Y Y的编码器提取共享信息和专有属性。

4.2 Optimization

  • 重构隐层空间。用于翻译的解码器接收共享的表示 S S S以及用于充当专有属性的随机输入噪音作为输入,在这里本文从8维的噪音向量 z z z中采样,这也要求专有属性表示的能够满足合理的分布。为此,作者在这里加入了原始对抗损失,训练使得能从 N ( 0 , I ) N(0, I) N(0,I)中采样接近于 E x E^x Ex分布的特征。

  • 重构后的图像必须与解码器的输入匹配,因此需要在原图像和重构后的图像 S X S^X SX中加入 L 1 L_1 L1​损失。

    L r e c o n X = E x ∼ X [ ∣ ∣ G e ( G d ( S X , z ) ) − ( S X , z ) ∣ ∣ ] L_{recon}^X = E_{x \thicksim X}[||G_e(G_d(S^X, z)) - (S^X, z)||] LreconX​=Ex∼X​[∣∣Ge​(Gd​(SX,z))−(SX,z)∣∣]

  • 为了使得翻译后的图像接近于真实数据分布,还需要引入对抗损失,本文作者采用了 W G A N − G P WGAN-GP WGAN−GP的损失,以获得稳定的训练和高质量的输出

    L D i s c X = E x ~ ∼ X ~ [ D ( x ~ ) ] − E x ∼ X [ D ( x ) ] + λ ⋅ E x ^ ∼ X ^ [ ( ∣ ∣ ∇ x ^ D ( x ^ ) ∣ ∣ 2 − 1 ) 2 ] L_{Disc}^X = E_{\tilde{x} \thicksim \tilde{X}}[D(\tilde{x})] - E_{x \thicksim X}[D(x)] + \lambda \cdot E_{\hat{x} \thicksim \hat{X}}[(||\nabla_{\hat{x}}D(\hat{x})||_2 - 1)^2] LDiscX​=Ex~∼X~​[D(x~)]−Ex∼X​[D(x)]+λ⋅Ex^∼X^​[(∣∣∇x^​D(x^)∣∣2​−1)2]

    L G e n X = − E x ~ ∼ X ~ [ D ( x ~ ) ] L_{Gen}^X = -E_{\tilde{x} \thicksim \tilde{X}}[D(\tilde{x})] LGenX​=−Ex~∼X~​[D(x~)]

  • 最后在跨域自动编码器中,重建的图像需要接近于原图,故有以下损失

    L a u t o X = E x ∼ X [ ∣ ∣ x ′ − x ∣ ∣ ] L_{auto}^X = E_{x \thicksim X}[||x^{'} - x||] LautoX​=Ex∼X​[∣∣x′−x∣∣]

损失的详情请查看原文

4.3 Experiment

  • 验证指标
    • 引入某篇论文中相关的读量协议
  • 对比方法
    • BicycleGAN
    • Pix2Pix
  • 数据集
    • MNIST-CD
    • MNIST-CB
    • 3D car models
    • 3D chair models

最后,给一些实验截图,有兴趣的朋友可自行阅读原文。
在这里插入图片描述

5. Conditional Image-to-Image translation

针对什么问题?

现有的图像翻译方法缺乏控制翻译结果的能力,从而导致生成的结果缺乏多样性。

提出什么方法?

本文提出了条件图像翻译的概念,即可以在给定的图像条件下,将源于转换为目标域中的图像,如下图示
在这里插入图片描述

  • 图a以人脸作为条件,生成指定领域的人脸
  • 图b以背包作为条件,生成指定领域的背包

该模型要求生成的图像必须从目标域中继承条件图像的特定域特征。

效果怎么样?

本文进行了人脸转换、轮廓到背包等实验,并证明了该方法的有效性。

5.1 Model

本文提出的模型如下图所示
在这里插入图片描述

  • 上图中有两个编码器 e A , e B e_A, e_B eA​,eB​以及两个解码器 g A , g B g_A, g_B gA​,gB​。
    • 编码器用来抽取特征,输入图像后输出两类特征:领域无关特征(Domain-Independent Features)及领域专有特征(Domain-Specific Features)。(感觉名字取得很不友好)
      • 在翻译过程中,领域无关特征会保留。如将男人脸转为女人脸时,会保留脸的边缘,眼睛,鼻子
      • 在翻译过程中,领域专有特征会改变,如脸的头发及风格。(例子也举得不友好)
    • 解码器充当生成器,将源域中图像的领域无关特征和目标域中图像的领域专有特征作为输入,输出属于目标域中的生成图像
  • 在编码器中,编码器网络会被切分成两个分支:一个接上卷积网络用来抽取领域无关特征,另一个接上全连接层用来抽取领域专有特征,通过损失函数的更新实现两分支不同的功能。
  • 现在以领域 X X X为例,讲一下模型的流程。
    • 输入图像 x A x_A xA​,编码器 e A e_A eA​提取领域不变特征 x A i x_A^i xAi​以及领域专有特征 x A S x_A^S xAS​,编码器 e B e_B eB​提取图像 x B x_B xB​的领域专有特征 x B s x_B^s xBs​。
    • 接着,将 s A i s_A^i sAi​和 x A S x_A^S xAS​结合并输入解码器 g B g_B gB​得到映射到领域 B B B中的图像 x A B x_{AB} xAB​。
    • 判别器 d B d_B dB​接收 x A B x_{AB} xAB​及 x B x_B xB​以判断生成数据是否真实。
    • 最后,将 x A B x_{AB} xAB​通过编码器 e B e_B eB​拆分出 x A B x_{AB} xAB​的领域不变重构特征 x ^ A i \hat{x}_A^i x^Ai​以及领域专有重构特征 x ^ B s \hat{x}_B^s x^Bs​,并将 x ^ A i \hat{x}_A^i x^Ai​和 x A s x^s_A xAs​结合输入解码器 g A g_A gA​,以得到重构后的图像 x ^ A \hat{x}_A x^A​。
  • 领域 Y Y Y同理。

5.2 Optimization

  • 对抗损失(GAN Loss)。为了保证 x A B , x B A x_{AB},x_{BA} xAB​,xBA​都能映射到相关的领域中,本文设计了判别器 d A , d B d_A,d_B dA​,dB​损失如下

    l G A N = l o g ( d A ( x A ) ) + l o g ( 1 − d A ( x B A ) ) + l o g ( d B ( x B ) ) + l o g ( 1 − d B ( x A B ) ) l_{GAN} = log(d_A(x_A)) + log(1 - d_A(x_{BA})) + log(d_B(x_B)) + log(1 - d_B(x_{AB})) lGAN​=log(dA​(xA​))+log(1−dA​(xBA​))+log(dB​(xB​))+log(1−dB​(xAB​))

  • 双重学习损失(Dual Learning Loss),使得模型最小化重构损失,如下

    l d u a l i m ( x A , x B ) = ∣ ∣ x A − x ^ A ∣ ∣ 2 + ∣ ∣ x B − x ^ B ∣ ∣ 2 l d u a l d i ( x A , x B ) = ∣ ∣ x A i − x ^ A i ∣ ∣ + ∣ ∣ x B i − x ^ B i ∣ ∣ 2 l d u a l d s ( x A , x B ) = ∣ ∣ x A s , x ^ A s ∣ ∣ 2 + ∣ ∣ x B s − x ^ B s ∣ ∣ 2 l_{dual}^{im}(x_A, x_B) = ||x_A - \hat{x}_A||^2 + ||x_B - \hat{x}_B||^2 \\ l_{dual}^{di}(x_A, x_B) = ||x_A^i - \hat{x}_A^i|| + ||x_B^i - \hat{x}_B^i||^2 \\ l_{dual}^{ds}(x_A, x_B) = ||x_A^s, \hat{x}_A^s||^2 + ||x_B^s - \hat{x}_B^s||^2 ldualim​(xA​,xB​)=∣∣xA​−x^A​∣∣2+∣∣xB​−x^B​∣∣2ldualdi​(xA​,xB​)=∣∣xAi​−x^Ai​∣∣+∣∣xBi​−x^Bi​∣∣2ldualds​(xA​,xB​)=∣∣xAs​,x^As​∣∣2+∣∣xBs​−x^Bs​∣∣2

5.3 Experiment

  • 验证指标
    • 本文的都是视觉性实验,通过观赏性来验证模型,且输入图像为64x64大小,怀疑是经费不够
  • 对比模型
    • DualGAN
    • DualGAN-c
    • GAN-c
  • 数据集
    • men->women
    • edges->shoes

下面贴几张模型的效果图
在这里插入图片描述

最后,感谢论文作者的贡献,respect! 本文的github.io版请走传送门。

注:本文为作者原创,转载需注明出处!

视觉特征-自监督-掩码特征预测【2026-03】:V-JEPA2.1【2B】【全Token稠密预测损失】【多层深度自监督】【图像/视频多模态Tokenizer】【160万小时视频】【1.42亿张图像】 Lorenzo Mur-Labadia1,2,∗, Matthew Muckley1, Amir Bar1, Mido Assran1, Koustuv Sinha1, Mike Rabbat1, Yann LeCun1, Nicolas Ballas1,†, Adrien Bardes1,†1FAIR at Meta, 2Universidad de Zaragoza ∗Work done at Meta, †Joint last authorWe present V-JEPA 2.1, a family 阅读详情

相关推荐

论文理解—— Disentangle-based Continual Graph Representation Learning

EMNLP 2020 Disentangle-based Continual Graph Representation Learning 链接: https://arxiv.org/abs/2010.02565 Github: https://github.com/KXY-PUBLIC/DiCGRL 研究背景: 多关系数据表示真实世界中实体和实体之间的关系,其中的节点表示实体,边代表实体之间的关系,比如常见的知识图谱和信息网络等。利用图表示学习方法对多关系图建模一直是学术界和业界关注的热点。图表示学习目的是

扣扣biubiubiu~ 859

Unsupervised Image-to-Image Translation Networks

大多数现有的图像到图像翻译框架——将一个域中的图像映射到另一个域的对应图像——都是基于监督学习的,即学习翻译函数需要两个域中对应的图像对。这在很大程度上限制了它们的应用,因为在两个不同的领域中捕获相应的图像通常是一项艰巨的任务。为了解决这个问题,我们提出了基于变分自动编码器和生成对抗性网络的无监督图像到图像翻译(UNIT)框架。所提出的框架可以在没有任何对应图像的情况下在两个域中学习翻译函数。我们通过结合权重共享约束和对抗性训练目标来实现这种学习能力。

weixin_36670529的博客 847

具身智能【2026-01】:Being-H0.5【VLA + Flow Matching】【MoT+MoE架构】【UniHand2.0数据集:4 亿个样本/35000小时 】

BeingBeyond Teamhttps://research.beingbeyond.com/being-h05Real-World Deployment Figure 1: Being-H0.5 at a Glance. We scale human-centric robot learning with Being-H0.5 toward cross-embodiment generalization. We introduce UniHand-2.0, a large-scale corpus

u013250861的博客 250

图像翻译/GAN:Unsupervised Image-to-Image Translation with Self-Attention Networks基于自我注意网络的无监督图像到图像的翻译

提出了一种具有自我注意网络的无监督图像到图像的转换,其中长距离依赖不仅有助于捕获强烈的几何变化,而且还可以使用所有特征位置的线索生成细节。

ssshyeong的博客 1357

图像到图像翻译(Image-to-Image Translation)

图像到图像翻译(Image-to-Image Translation) Image-to-Image Translation. 图像到图像翻译(Image-to-Image Translation)

AI天才研究院 1382

几何修复_ANSYS流体分析:几何前处理

建模及几何处理工具非常多,选择起来让人眼花缭乱。对于仿真而言,高效的对几何进行清理及生成符合仿真要求的几何至关重要。ANSYS SpaceClaim Direct Modeler是基于直接建模思想的新一代3D高效率建模和几何编辑修补软件。SCDM提供了当今最快速、最富有创意的直接建模解决方案。由于它的直接建模能力即使对于导入的其它3D模型(如catia、proe、solid works创建的几何)...

weixin_35778830的博客 2417

CVPR2019/图像翻译:TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation几何感知的无监督图像到图像的翻译

提出了一个新的解纠缠和翻译框架,以解决复杂的对象图像到图像的翻译任务。我们不直接学习图像空间上的映射,而是将图像空间分解为外观空间和几何潜在空间的笛卡尔积。具体地说,我们首先引入几何先验损失和条件VAE损失来鼓励网络学习独立但互补的表示。然后,翻译分别建立在外观和几何空间上。......

ssshyeong的博客 1516

ESP32学习,驱动LED点阵屏,SD卡播放GIF动图

搬运就可以实现效果,如果有不足,请批评指正。下步该学一下如何文章上视频了,老是截图不方便展示效果。

u011625956的博客 1868

论文阅读——A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation

摘要: 方法总览图: 网络架构图: 论文地址: arXiv NeurIPS 代码地址: GitHub(pytorch)

probie的博客 502

密码学:一文读懂数字证书

消息摘要算法用于验证数据完整性服务,对称加密算法和非对称加密算法用于保证数据保密性服务,数字签名算法用于抗否认性服务。数字证书集合了多种密码学算法:自身带有公钥信息,可完成相应的加密/解密操作;同时,还带有数字签名,可鉴别消息来源;且自身带有消息摘要信息,可验证证书的完整性;由于证书本身含有用户身份信息,因而具有认证性。

Shujie 2910

Keil5与ARM编译器V5安装指南:从下载到配置全流程解析

本文提供Keil5与ARM Compiler V5的完整安装与配置指南。针对新版Keil5默认不包含V5编译器导致老工程编译失败的问题,详细解析了从软件下载、授权管理到获取并正确安装ARM Compiler V5(AC5)的全流程,确保开发者能顺利搭建兼容老项目的稳定开发环境。

weixin_29158047的博客 875

《Image Generation and Translation with Disentangled Representations 》论文解读--解开图像表示的生成与转换

《Image Generation and Translation with Disentangled Representations 》 解读论文下载地址:点击打开链接如果下载链接出现了问题,回复我,我会发一个链接给下载。一、论文解读1. 原始GANs在图像生成与转换的几个主要问题注:要看原文的话,可以结合paper第一部分和第二部分可以看出原始的GANs在图像生成与转换的主要问题。这里给出如下...

bigbug_sec的博客 2165

【天气雷达】双偏振产品-差分反射率ZDR详解

双偏振产品-差分反射率ZDR详解。

珞瑜的博客 5408

计算机视觉论文-2021-07-08

本专栏是计算机视觉方向论文收集积累,时间:2021年7月8日,来源:paper digest 欢迎关注原创公众号【计算机视觉联盟】,回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记! 直达笔记地址:机器学习手推笔记(GitHub地址) 1, TITLE:Samplets: A New Paradigm for Data Compression AUTHORS: Helmut Harbrecht ; Michael Multerer CATEGORY: math.NA [math.NA...

中科院AI算法工程师的博客 1401

深度强化学习调参技巧:以DQN、DDPG、TD3、PPO、SAC等算法为例

深度强化学习调参技巧:以D3QN、DDPG、TD3、PPO、SAC算法为例

丨汀、的博客 3443

Google Play上架:谷歌2024年5月份审核政策改动,审核强度逐步提升

Google Play上架:谷歌2024年5月份审核政策改动,审核强度逐步提升

专业解决各种上架过包问题,专业团队专业处理 3187

Unsupervised Image-to-Image Translation Networks(NIPS 2017)

文本为论文翻译,翻译尽量为通俗语言,并且尽最大可能还原论文的原意。 原文名:《Unsupervised Image-to-Image Translation Networks》 论文地址: https://arxiv.org/pdf/1703.00848.pdf 对关键词的翻译,避免造成误解,特有以下说明: 转换=translate, 比如输入一张夏天的照片,输出一张冬天的照片,这个过程成...

木盏 7052

Python爬虫实战 | 拼多多商品评论采集与深度分析

本文从 API 调用、网页渲染到情感分析与关键词提取,全流程剖析了“拼多多商品评论采集与分析”项目。Scrapy + API 可快速抓取评论;Playwright 可突破 API 限制,抓取完整页面内容;数据清洗 + 分析揭示用户真实反馈;可持续部署、扩展至更多商品 & 时间段;

2201_76125261的博客 1696

【研究生工作周报】(第九周)

Unsupervised Image-to-Image Translation Networks (UNIT)的特征如下: ●Two distinct domains 两个不同的domain ● Unpaired training data 数据不对应,就是一个domain中图片,没有和他对应的另外一个domain的照片 ● Share the same latent space z ● Domain Invariant feature 这里相当于一个VAE+GAN 要找到两个domain的share

wangyunpeng33的博客 1306

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

风格迁移篇---U-GAT-IT:图像到图像翻译的无监督生成注意网络

图像风格迁移

m0_61985580的博客 2635

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

UNIT:UNsupervised Image-to-image Translation Networks

在机器学习和计算机视觉领域,图像到图像的转换技术一直是一个热门话题。它不仅涉及到图像处理和生成模型的核心技术,也具有广泛的应用前景。今天,我们要介绍的UNIT项目,全称为UNsupervised Image-to-image Translation Networks,是一种无需成对训练样本即可实现图像转换的深度学习框架。 ## 项目技术分析 ### 核心原理 UNIT项目基于生成对抗网络(G

gitblog_00544的博客 554

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

UNsupervised Image-to-image Translation Networks

UNsupervised Image-to-image Translation Networks代码走读新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 代码走读 新的改变 我们对Markdown编辑器进行了一些功能拓展与语

gaoyang1213的博客 497

2017 NIPS之GAN(image transfer):Unsupervised Image-to-Image Translation Networks

Unsupervised Image-to-Image Translation Networks 开源:https://github.com/mingyuliutw/unit. 当前的问题及概述: 无监督图像-图像转换的目的是利用图像在单个区域的边缘分布来学习图像在不同区域的联合分布。由于存在无穷多的联合分布集合,可以得到给定的边际分布,如果没有额外的假设,就不能从边际分布中推断出联合分布。 本文提出了一个共享潜在空间的假设,并提出了一种基于coupled GANs的无监督图像-图像转换框架。 模型及los

makabaka的博客 977

Unsupervised Image-to-Image Translation Networks --- Reading Writing

Unsupervised Image-to-Image Translation Networks --- Reading Writing 2017.03.03   Motivations: most existing image to image translation algorithms are all need image pairs as training da...

a1424262219的博客 406

CVPR2021 | 实时4K“image-to-image translation”,港理工&达摩院张磊团队提出拉普拉斯金字塔变换网络

编辑:Happy 首发:AIWalker paper: https://www4.comp.polyu.edu.hk/~cslzhang/paper/LPTN-cvpr21-paper.pdf code: https://github.com/csjliang/LPTN 本文是港理工&达摩院张磊团队在image-to-image translation方面继3DLUT之后的又一力作。本文创造性的将拉普拉斯金字塔与深度学习进行了结合,对于拉普拉斯金字塔的分离、重建特性与image-to-ima.

聚焦底层视觉处理,对相关基础AI技术持续学习 1245
上一篇: 教师-学生网络下Self-Ensembing with GAN-based Data Augmentation for Domain Adaption in Sematic Segmentation
下一篇: 逆思维:GAN不能生成什么?Seeing What a GAN Cannot Generate
GodWriter
博客等级 码龄11年 94粉丝 41原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值