谷歌又放大招：视觉效果完胜其他SOTA的风格迁移网络，手机端可达实时4K

Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer

paper：https://arxiv.org/abs/2004.10955

本文是Boston & PixelShift.AI & Google Research写的一篇关于实时风格迁移的爽文。作者包含大名鼎鼎的Jiawen Chen。看标题也很明显就知道，它是HDRNet的传承者，是HDRNet类方法在风格迁移领域的成功应用（手机端4K实时风格迁移）。

Abstract

风格迁移指的是将图像A的艺术风格迁移到图像B的内容中，从而媲美相加拍摄的效果。近年来基于深度学习的方法取得了令人惊讶的效果，但存在速度过慢问题或伪影问题，这就导致了相应技术难以实际产品化落地。作者提出一种的快速的端到端的风格迁移架构，它不但速度够快，而且生成结果更为逼真。该方法的核心：一个可以学习局部边缘敏感仿射变换(edge-aware affine transforms)的前向神经网络。该方法一经训练完成，它可以在任意对图像上实施鲁棒风格迁移。相比其他SOTA方法，所提方法可以生成更好的视觉效果，同时更快，在手机端可达实时@4K。

Our model is a feed-forward deep neural network that once trained on a suitable dataset, runs in real time on a mobile phone at full camera resolution (i.e. 12 megapixels or “4K”) significantly faster than the state of the art. ---- from the paper.

作者设计了一种“双边空间（bilateral space）”深度学习算法，它通过一个紧致网络在低分辨率学习局部放射变换，然后在原始分辨率进行风格映射。是不是很有HDRNet的风格！。该文贡献包含以下三点：

• 提出一个实时而逼真风格迁移网络；

• 所提网络可以在手机端达到实时@4K（注：这是最赞的）；

• 提出一种双边空间拉普拉斯正则消除空间网络伪影
  
  

Method