论文阅读Synthetic to Real Adaptation with Generative Correlation Alignment Networks

本文链接：https://blog.youkuaiyun.com/xunmige2791/article/details/78888766

提出一种名为DGCAN的深度生成相关性对齐网络，该网络利用形状保留损失和低级统计匹配损失来缩小合成图像与真实图像间的领域差异。通过结合3D CAD模型与真实图像特征，生成高质量的合成图像，有效提升模型训练效果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文题目：Synthetic to Real Adaptation with Generative Correlation Alignment Networks
作者：Xingchao Peng，Kate Saenko
来源： arxiv2017

1. 摘要

文章的想法是如果使用3D CAD建模的合成图片进行训练数据的数据增强，将会是一件非常有意义的事。然而，合成图片与真实图片之间存在较大的domain discrepancy，所以直接使用的效果甚微。本文提出了一种DGCAN的网络结构，使用shape preserving loss和low level statistic matching loss来减小特征空间中域之间的差异。
具体的，CAD合成图片具有很大的非真实性，其原因如下：
1）前景与背景的不匹配性很大
2）物体边缘和背景之间有很大的对比度
3）不逼真的场景
以上原因导致了合成图片与真实图片有很大的域差异

2. 文章的思路

2.1 总体的思路

总体方法图示
上图是总体的方法概略，使用DGCAN（Deep Generative Correlation Alignment Network）来生成inexpensive annotated training data。通过
综合物体的形状（从易获取的3D CAD中得到）以及结构纹理（从少量的真实图片中获得），最终在DGCAN-合成图片上进行训练，其效果有很大的改善。
设 ${\cal I}_s=\{ {\cal C}_i,{\cal Y}_i\}_{i=1}^{n_s}$ ，其中 $n_s$ 是有标签的source domain的CAD合成图的数目，而设 ${\cal I}_t=\{ {\cal R}_i\}_{i=1}^{n_t}$ ，其中的 $n_t$ 是所有target domain所有真实图片（无标签）的数目。本文的目的是合成一个有标签的中间数据集 ${\cal I}=\{ {\cal D}_i,{\cal Y}_i\}_{i=1}^n$ ，每个 ${\cal D}_i \in {\cal I}$ 的图片都与 ${\cal C}_i \in \cal I_s$ 包含类似的物体形状和轮廓，以及每个 ${\cal D}_i \in {\cal I}$ 的图片都与 $\cal R \in \cal I_t$ 图片相类似的模式，颜色，纹理结构等。
为了从 $\cal C$ 和 $\cal R$ 中得到 $\cal D$ ，最直接的方法是直接对两个图片求平均。传统的方法如：half-half alpha blending以及pyramid blending仍会造成很大的domain shift。而本文的方法是在DCNN中将生成的 $\cal D$ align到 $\cal C$ ， $\cal R$ 中，或者反过来，用 $\cal D \sim \cal p (\cal D|\cal C,\cal R)$ 来从 $\cal C$ 中合成 $\cal D$ 。

2.2 DGCAN的实现

DGCAN的网络实现
使用VGG-16作为基础架构，包含13个卷积层（conv1_1-conv5_3）,3个全连接层（fc6-fc8）,5个pooling层（pool1-pool5）。
令 $\cal H^l(\cdot)$ 是DCNN的第 $\cal l$ 层的表达矩阵， $\cal H_{i}^l(\cdot)$ 是 $\cal H^l(\cdot)$ 的第 $\cal i$ 个维度， $\cal H_{i,j}^l(\cdot)$ 是 $\cal H_{i}^l(\cdot)$ 的第 $\cal j$ 个值
第一个loss是为了保证物体的轮廓保持一致，第二个Loss是为了图像与真实图片有相似的low-level的特征。

2.2.1 shape preserving loss

L X f f e a t = \sum l \in X f (ω l f 2 α l \sum i | | H l i (D) - H l i (C) | | 22)

${\cal L}_{feat}^{\cal X_f} = \sum_{l\in\cal X_f} (\frac{\omega_f^l}{2\alpha^l}\sum_i||\cal H_i^l(\cal D)-\cal H_i^l(\cal C)||_2^2)$
其中

D∈I,C∈Is $\cal D \in \cal I , \cal C \in \cal I_s$ ;

ωsf $\omega_f^s$ 是第l层的loss weight；

Xf $\cal X_f$ 是所有加了

l2 $l^2$ loss的集合。

αl=NlFl $\alpha^l = N^lF^l$ ，

Nl $N^l$ 是第l层特征的通道数，

Fl $F^l$ 是每个通道的特征长度
该loss关于激活值的导数是

\partial L X f f e a t \partial H l i , j ( D ) = ω l f α l (H l i, j (D) - H l i, j (C))

$\frac{\partial{\cal L}_{feat}^{\cal X_f}}{\partial \cal H_{i,j}^l(\cal D)}=\frac{\omega_f^l}{\alpha^l}(\cal H_{i,j}^l(\cal D)-\cal H_{i,j}^l(\cal C))$

2.2.2 naturalness loss

为了使生成的图片具有与真实图片相似的low-level的特征（纹理，边缘对比度，颜色等），这里使用了CORAL loss。Correlation Alignment（CORAL）是[1]论文中提出的loss。用于match the second-order statistics of feature distributions for domain adaptation。

L X c c o r a l = \sum l \in X c (ω l c 4 α l 2 | | C o v (H l (D)) - C o v (H l (R)) | | 2 F)

${\cal L}_{coral}^{{\cal X}_c} = \sum_{l\in{\cal X}_c}( \frac{\omega_c^l}{4\alpha^{l^2}}||Cov(\cal H^l(\cal D))-Cov(\cal H^l(\cal R))||_F^2)$
其中

D∈I,R∈It $\cal D \in \cal I , \cal R \in \cal I_t$ ;

ωlc $\omega_c^l$ 是第l层的 COARL loss weight；

Xc $\cal X_c$ 是所有加了CORAL loss的集合。
参考原论文，协方差矩阵如下：

C o v (H l (M)) = 1 N l {H l (M) ⊤ H l (M) - 1 N l {1 ⊤ H l (M)) ⊤ (1 ⊤ H l (M))}

$Cov({\cal H}^l({\cal M}))=\frac{1}{{\cal N}^l}\{{\cal H}^l ({\cal M})^\top\ {\cal H}^l ({\cal M}) - \frac{1}{{\cal N}^l} \{ {\bf 1}^\top{\cal H}^l({\cal M}))^\top( {\bf 1}^\top{\cal H}^l({\cal M})) \}$
其中

M∈{D,R} ${\cal M} \in \{{\cal D},{\cal R}\}$ ,

1 $\bf 1$ 是恒1列向量，

Nl $N^l$ 是第l层的特征通道数
利用链式法则对CORAL求导得导数为：

\partial L X c c o r a l \partial H l i , j ( D ) = ω l c N l α l 2 {[H l (D) ⊤ - 1 N l (1 ⊤ H l (D)) 1 ⊤] ⊤ \cdot (C o v l (D) - C o v l (R))} i . j

$\frac{\partial {\cal L}_{coral}^{\cal X_c}}{\partial {\cal H}_{i,j}^l(\cal D)}=\frac{\omega_c^l}{N^l\alpha^{l^2}}\{ [{\cal H^l(\cal D)}^\top-\frac{1}{\cal N^l}(\bf 1^\top{\cal H}^l(\cal D)){\bf 1}^\top]^\top \cdot(Cov^l({\cal D})-Cov^l({\cal R}))\}_{i.j}$
最后总的loss是将两个结合起来。先对原始图像增加一个扰动

ϵ∼N(0,Σ) $\epsilon \sim {\cal N(0,\Sigma)}$ 。然后将图像送入DGCAN中关于

D $\cal D$ 计算

l2 $\cal l^2$ loss。关于

R $\cal R$ 去计算 CORAL loss。合成图片通过如下规则得到：

D * = arg min D \in I (L X f f e a t + λ L X c c o r a l | X, R, X f, X C, λ, ϵ)

${\cal D}^* = \mathop{\arg\min_{{\cal D}\in{\cal I}}}({\cal L}_{feat}^{\cal X_f}+\lambda{\cal L}_{coral}^{\cal X_c}|{\cal X},{\cal R},{\cal X_f},{\cal X_C},{\lambda},{\epsilon})$

2.3 实验结果

实验分两部分：1）用CAD合成图片和真实图片一起生成DGCAN合成图片；2）用现有的分类器在DGCAN合成图上进行训练
合成的图像展示
上图展示了根据两个输入（source domain:CAD合成图，target domain：真实图片）而产生的合成图。
1) 把 $\cal L_{feat}$ 和 $\cal L_{coral}$ 分别总用与不同的卷积层找到最合适的方案。左图展示了当把 $\cal L_{feat}$ 作用于浅层卷积层时，DGCAN可以生成清晰的物体轮廓。当把 $\cal L_{coral}$ 作用于更高层的卷积层时，DGCAN可以合成出更具结构化的纹理特征
2）改变trade-off参数 $\lambda$ ，找到 $\lambda$ 的最优值。右图显示当 $\lambda$ 较小时，物体轮廓比背景纹理更占优势，反之亦然。

实验效果图
左侧的一组图是CAD合成图和它对应的生成好的DGCAN合成图，可以看到着色后的图片具有真实的图像轮廓和真实的纹理。使用【2】中的工具进行图像可视化处理。可以发现，DGCAN的合成图片与真实图片的差异较小。而单一的灰度图像（CAD合成图）仅提供了边缘信息（edge information).
voc07的测试结果

可视化解释
左边的是混淆矩阵（confusion matrix）大概理解是DGCAN合成图的错误模式和CAD合成图的错误模式大大不同，右图是t-SNE可视化的效果，可以得出DGCAN-合成图与原图的domian shift更小。
（混淆矩阵刚考完数据挖掘然后想起来了，以下摘自百度百科：混淆矩阵也称误差矩阵，是表示精度评价的一种标准格式，用n行n列的矩阵形式来表示。具体评价指标有总体精度、制图精度、用户精度等，这些精度指标从不同的侧面反映了图像分类的精度。在人工智能中，混淆矩阵（confusion matrix）是可视化工具，特别用于监督学习，在无监督学习一般叫做匹配矩阵。在图像精度评价中，主要用于比较分类结果和实际测得值，可以把分类结果的精度显示在一个混淆矩阵里面。混淆矩阵是通过将每个实测像元的位置和分类与分类图像中的相应位置和分类像比较计算的。混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；所以上图中对角线值越高，表示分类越准确），

3.参考文献

[1] B. Sun, J. Feng, and K. Saenko. Return of frustratingly easy domain adaptation. arXiv preprint arXiv:1511.05547, 2015. 1, 2, 4, 6, 7, 8
[2]A. Mahendran and A. Vedaldi. Visualizing deep convolutional neural networks using natural pre-images. International Journal ofComputer Vision, pages 1–23, 2016. 5