深度学习（10）——Deep Photo Style Transfer

Deep Photo Style Transfer

1、贡献

基于Gatys等人的神经风格转换（NST）方法适用于艺术品风格，在真实照片上会由于“低级噪声”的影响产生像手绘的局部空间扭曲的效果。

这篇论文的贡献之一就在于成功抑制了图像扭曲，将风格变换约束在色彩空间的局部仿射变换中。

如图1所示，给定一个style图像(a)和一个内容图像(b)，NST算法©成功地传输了颜色，但也引入了失真，使输出看起来像一幅画，这在照片风格转换中是不可取的。相比之下，我们的结果(d)在保持输出的逼真性的同时，也同样很好地传递了参考风格图像的颜色。在右边(e)，我们显示了(b)， ©和(d)的3个插值(按照这个顺序)放大比较结果。

其次对变换过程中由于输入图像和参考图像的内容不同而导致的不相关内容不在预期范围内的变换的出现提供了解决方案。比如，一个输入图像的天空内容比较少，风格变换可能会忽略掉内容上的差异而导致天空风格“溢出”到图像的其他部分，即天空用了地面的风格。

如图2 所示，给定一幅内容图像(a)和一幅风格图像(e)， Gatys等人NST算法的(b)和Li等人CNNMRF算法的©的结果与我们的结果(d)相比，由于强畸变而呈现伪影。NST计算风格图像的全局统计，风格图像容易产生纹理不匹配，如对应关系(f)所示，如输出图像中从参考样式图像映射到建筑物的部分天空。CNNMRF计算风格图像的最近邻搜索，风格图像往往具有多对一的映射，如对应关系(g)所示，例如，参见建筑物。相比之下，我们的结果(d)防止了扭曲，并正确匹配纹理，如对应(h)所示。

2、方法

• 加入图像写实正则化参数项，约束重构图像用内容图像的局部仿射色彩变幻防止扭曲
• 基于内容图像的语义分割，增强结果的图像写实性

NST（Imagestyle transfer using convolutional neural networks）的基本算法如下：
$$L_{total}=\sum _{l=1}^L{\alpha }_l{L}_c^l+\Gamma \sum _{l=1}^L{\beta }_l{L}_s^l$$

$$L_c^l=\frac{1}{2N_l{D}_l}\sum _{i,j}(F_l[O]-F_l[I]{)}_{i,j}^2$$

$$L_s^l=\frac{1}{2N_l^2}\sum _{i,j}(G_l[O]-G_l[S]{)}_{i,j}^2$$

其中，$L$ 是卷积层数量，$l$ 表示网络中第 $l$ 层。每一层都有 N l N_l