多模态融合2-人脸

《RGB-D Face Recognition via Deep Complementary and Common Feature Learning》
FG 2018，Hao Zhang, Hu Han, Jiyun Cui, Shiguang Shan, Xilin Chen.
近年，利用RGB-D数据进行人脸识别的方案已经被广泛采用，然而现有方法多使用相同处理方式处理所有的模态，这没有充分考虑模态的差异，忽略了模态之间的相关性。作者提出一种新的RGBD多模态融合的人脸识别方案，能够学习多个模态之间的共同特征以及互补特征，进一步扩展多模态的学习能力。
RGB-D人脸识别由两个典型应用场景组成：
（1）multi-modality matching, e.g., RGB-D probe vs. RGB-D gallery
（2）cross-modality matching, e.g., RGB probe vs. RGB-D gallery

 

1.针对multi-modality matching
由于RGB和depth分别描述了人脸的纹理和形状信息，这两种模态应该是相关且可以互补的，通过引入联合损失，来增强模态之间的交互。基本架构如下图所示：

 

为了得到互补性的特征，同时优化各个模态的单独损失和联合损失，损失函数如下式所示：

其中，W j W_{j}W 
j
​
 为单个模态学习的权重矩阵，W j W_{j}W 
j
​
 为联合学习的权重矩阵，y j y_{j}y 
j
​
 为样本的id。为了得到更好的实验结果，作者对深度图的训练样本做了预处理，处理方式如下图所示，去除了较多的噪声：

 

 

整个网络的实现细节如下图所示：

 

引入loss4，增强互补特征学习，实现细节：

 

最后，使用RGB的FC1024特征和Depth的FC1024特征分别计算RGB-RGB的匹配得分值，Depth-Depth的匹配得分值，之后通过加权融合得到最后得分：

2.针对cross-modality matching
当深度图缺失时，提出把cross-modality matching：RGB to RGB-D分成两个子问题，(i)
RGB to RGB matching,and (ii) RGB to depth matching.
(i)RGB to RGB matching
直接使用提出的上面互补特征学习的网络，来获得RGB-to-RGB的匹配得分。
(ii) RGB to depth matching
提出学习共性特征从RGB和Depth，具体如下图所示：

 

3.RGB-D评测数据集：

 

4.互补特征的实验结果：

5.错误数据分析