Controlling Perceptual Factors in Neural Style Transfer阅读笔记

摘要

主要提出了三个可控制的感知因素：spatial location、 colour information and spatial scale。

通过将风格分解为这些感知因素，可以将多个不同的风格信息组合起来，从现有风格中生成新的吸引人的风格。此外，作者还提到了这种方法可以被直接应用于很多现有的风格迁移技术之上。我上一篇文章介绍的AdaIN的方法在扩展实验部分也使用了本文的思想。

介绍

作者先说了三点通过观察发现的现象：
First, one might separately describe different styles in different regions, such as in the sky as compared to the ground.
不同区域的不同风格是可以被分离开表示的。
Second, one might describe the colour palette, and how it relates to the underlying scene, separately from factors like image composition or brush stroke texture.
颜色信息与基础的场景是有联系的，而与图像的组成和笔刷的风格是独立的。
Third, one might describe fine-scale spatial structures, such as brush stroke shape and texture,separately from coarse-scale structures like the arrangements of strokes and the swirly structure in the sky of the painting.
精细的结构（例如画笔的形状和纹路）与粗糙的结构（笔画的排列和绘画天空中的旋涡结构）是独立的。
这三点现象使作者提出了自己的假设：
图像风格可以在不同空间区域、颜色和亮度信息，以及跨空间尺度上被感知地分解为不同层次的风格，这些感知因素也成为了在风格迁移任务中更有意义的控制维度。

相关工作

介绍了之前的一些方法，主要提到了neural style，因为本文的主要工作是在其基础上改进的，而且都是Gatys写的，neural style的原理我之前的有简单介绍过。

Spatial Control

主要目的是控制风格图片的一块区域只作用于内容图片的某一块区域，如下图所示，可以把一个风格作用于内容图片的天空，另一个风格作用于内容图片的地面部分。图(d)是不使用空间控制的结果；图(e)是添加空间控制，从I的地面和天空分别获取风格；图(f)是分别使用I的地面风格和II的天空风格的结果。


基本的思路是