2D人脸对齐：《Deep Alignment Network: A convolutional neural network for robust face alignment》

2D人脸对齐：《Deep Alignment Network: A convolutional neural network for robust face alignment》

 

个人分类： Face Alignment

版权声明：未经博主允许，不得转载！ https://blog.youkuaiyun.com/u011681952/article/details/82020267

《Deep Alignment Network: A convolutional neural network for robust face alignment》

目录

 

• 0 基本信息
• 1 中心思想
• 2 相关研究
• 3 关键要点
• 4 效果

 

0 基本信息

       1）作者: Marek Kowalski,Jacek Naruniec,and Tomasz Trzcinski 
       2）机构: Warsaw University of Technology 
       3）来源: https://arxiv.org/abs/1706.01789

1 中心思想

       DAN是一种人脸对齐的方法，采用级联神经网络结构，充分利用人脸的全局信息而非局部信息，使其效果优于现有的人脸对齐方法。 
       该方法的总体思想为如下几步： 
       1）DAN 参考CSR的框架，通过前向深度网络提取特征代替人工特征，训练前向网络得到关键点位的偏差代替CSR中的回归器 
       2）用级联的网络结构来实现CSR中的迭代 
       3）利用人脸全局信息T(I)、H、F作为前向网络的输入，得到关键点位的偏差 
       4）构造级联网络结构 
       5）分级训练网络，每级网络loss停止收敛时，训练下一级网络。

2 相关研究

       CSR：以标准人脸关键点作为初始值，通过迭代来修正关键点的位置。 
               
              缺点：因为使用局部特征（关键点周围的局部信息），人工特征（SIFT、LBP），易使模型陷入局部最优解。 
       SDM：SIFT特征+线性回归器 
       LBF：稀疏特征+线性回归器 
       CFSS：uses SIFT features，coarse to fine over several iterations. 
       MDM：fuses the feature extraction and regression steps of CSR into a single RNN that is trained end-to-end.

3 关键要点

       1）FEED FORWARD NN 
       作用： 
              提取人脸的全局特征，替代CSR中的特征提取器Φ； 
              获得与标准人脸最接近的点位偏差，替代CSR中的回归器R 
       输入灰度图I以及标准关键点模板S0,预测得到新的关键点位置S1，其网络结构如下，输出136用于预测68个关键点 
       

       2）CONNECTION LAYERS 
       作用： 
              产生相似变换矩阵T及其逆矩阵； 
              产生前向深度网络的输入：T(I)、H、F。 
       计算S1到S0的相似变换矩阵T1，通过T1对图像进行校正得到T1(I),对关键点进行变换得到Heatmap H1，fc1层映射到112*112的特征图F1 
 
       Heatmap:利用关键点热力图通过CNN预测新的关键点偏差。 
        
       Feature:充分利用人脸的全局信息特征，是Heatmap的信息补充。

        3）级联网络结构 
       作用： 通过级联网络替代CSR中的迭代处理过程。 
       

4 效果

       GeForce GTX 1070 45fps 
        DAN在Menpo test set中的效果 
        
       DAN在IBUG dataset中9种很困难的人脸对齐效果