FaceBagNet: Bag-of-local-features Model for Multi-modal Face Anti-spoofing

3.1
在这项工作中，我们提出了一种多流CNN架构，称为FaceBagNet，具有模态特征擦除（MFE）功能，用于多模式人脸防喷溅检测。 我们的方法包括两个部分，（1）基于补丁的特征学习，（2）与MFE的多流融合。 对于基于补丁的特征学习，我们使用从面部图像中随机提取的补丁来训练深度神经网络，以学习丰富的外观特征。 对于多流融合，在训练过程中会随机擦除来自不同模态的特征，然后将其融合以进行分类。 图1显示了三个流的高层次说明以及用于合并它们的融合策略。

所提出的面部防喷溅方法的体系结构。 从头开始训练融合网络，其中将RGB，深度和IR面部补丁同时馈入其中。 在训练过程中，将应用图像增强，并从子网中随机删除模态特征。

3.2 基于补丁的功能学习
欺骗特定的区分性信息存在于整个面部区域。 因此，我们可以使用补丁程序级映像来强制CNN提取此类信息。 常用的基于补丁的方法将整个脸部分成几个固定的非重叠区域。 然后，使用每个补丁来训练独立的子网。 在本文中，对于每种形态，我们在从面部提取的随机斑块上训练一个CNN。 我们使用自行设计的ResNext [26]网络提取深层功能。 该网络由五个组卷积块，全局平均池化层和softmax层组成。表格1根据网络层的层次，即内核的大小，输出特征图的数量，组跨度的数量，展示了网络体系结构。 我们的实验表明，基于补丁的功能在不同攻击之间具有高度区分性。 在实验部分，将提供比较不同大小斑块的定量结果。
3.3 与MFE的多流融合
由于不同模式的特征分布不同，因此所提出的模型也努力探索不同模式之间的相互依赖性。如图1所示，我们使用具有三个子网的多流体系结构来执行多模式特征融合。我们在第三个卷积块（res3）之后串联三个子网的特征图。
正如在[30]中研究的那样，来自每个子网的特征的直接串联不能充分利用不同模态之间的特征。为了防止过度拟合并更好地学习融合特征，我们在多峰特征上设计了模态特征擦除操作。对于一批输入，由三个子网计