Perceptual Loss（感知损失）论文笔记

“Perceptual Losses for Real-Time Style Transfer and Super-Resolution”论文出自斯坦福大学李飞飞团队，发表于ECCV 2016

论文地址：https://arxiv.org/abs/1603.08155
补充材料地址：https://cs.stanford.edu/people/jcjohns/papers/eccv16/JohnsonECCV16Supplementary.pdf

简介

图像转换问题（image transformation tasks），输入一副图像转换成另一幅图像输出。现有方法来解决的图像转换问题，往往以监督训练的方式，训练一个前向传播的网络，利用的就是图像像素级之间的误差。这种方法在测试的时候非常有效，因为仅仅需要一次前向传播即可。但是，像素级的误差没有捕获输出和ground-truth图像之间的感知区别（perceptual differences）。

最近的研究工作表明，高质量的图像可以通过定义和优化perceptual loss函数来生成，该损失函数基于使用预训练好的网络提供的高层的特征。

本文中，我们将两者的优势进行结合，训练一个前向传播的网络进行图像转换的任务，但是不用 pixel-level loss function，而采用 perceptual loss function。在训练的过程中，感知误差衡量了图像之间的相似性，在测试的时可实时运行。

网络架构

网络架构的设计是本文的亮点，网络主要由两个部分构成：一个是 image transformation network 一个是 loss network 用来定义 loss fu