由三维面部先验指导的面部超级分辨率 （读书笔记）

Face Super-Resolution Guided by  3D Facial Prior

 3D：由三维面部先验指导的面部超级分辨率

1 摘要 Abstract

主要贡献：

背景：最先进的（State-of-the-art）面部超分辨率方法采用深度卷积神经网络（deep convolutional neural networks ），通过探索局部外观知识来学习低分辨率和高分辨率面部模式之间的映射。（mapping)

痛点：这些方法大多不能很好地利用面部结构和身份信息（facial structures and identity information），并且难以处理表现出巨大姿态变化（large pose variations）的面部图像。

解决：我们提出了一种新的面部超分辨率方法，该方法显式地结合了3D人脸先验（ 3D facial priors），从而掌握了清晰的人脸结构。

主要内容：

（1）方法

首先，设立了一个三维人脸渲染分支（3D face rendering branch），以获得突出的面部结构和身份知识的3D先验。

其次，空间注意模块（the Spatial Attention Module）被用来更好地利用这种层次信息（即强度相似性、三维面部结构和身份内容 intensity similarity, 3D facial structure, and identity content）来解决超分辨率问题。

方法特色：

（2）创新点

1. 此方法是第一个是探索基于面部属性 face attributes（如身份、面部表情、纹理、光照和面部姿势identity, facial expression, texture, illumination, and face pose）参数化描述的三维可变形知识(3D morphable knowledge )。

2. 这些先验因素可以很容易地被纳入任何网络中，并且在提高性能和加速收敛速度方面非常有效 

关键词：人脸超级分辨率，三维面部先验，面部结构和身份知识

 2 介绍 Introduction

问题的背景和起源：

  人脸图像为人类观察以及计算机分析提供了关键线索。然而，大多数人脸图像任务的性能，如人脸识别和面部情绪检测（ face recognition and facial emotion detection），当人脸图像的分辨率相对较低时，其性能会急剧下降。因此，脸部超分辨率 face super-resolution，也被称为脸部幻觉 face hallucination，是为了从低分辨率的对应物中恢复高分辨率的脸部图像。

交代前人在这个题目上已经有过的主要贡献，说清楚前人留下来的未解问题：

  尽管大量的深度学习方法已经成功地应用于人脸超级分辨率（SR）问题，但由于SR问题的不确定性（ the ill-posed nature ），以及学习和整合强先验因素到人脸幻觉模型（face hallucination model）的难度，任意人脸图像的超级分辨率，特别是在高放大系数下，仍然是一个开放和具有挑战性的问题。

论文想解决的问题和它的重要性：

    作者提出了一种新的人脸超分辨率方法，利用三维人脸先验来掌握清晰的人脸结构和身份知识。首先，建立了一个深度的3D人脸重建分支（a deep 3D face reconstruction branch）