基于注意力的人脸抗欺骗RGB图像，使用最小的2端神经网络

Attention-Based Face AntiSpoofing of RGB Images, using a Minimal End-2-End Neural Network

摘要

人脸抗欺骗攻击的目标是识别真假人脸，在安全敏感应用、活性检测、指纹识别等方面得到了高度重视。在本文中，我们提出了两个端到端的卷积神经网络来解决反欺骗干扰问题。在此基础上建立了一种模型，并对该模型进行了最后的修正。第二个，是一个非常轻的模型的MobileNet V2，它已被压缩，修改和再培训有效的数据正在创建的基础上，玫瑰- youtu数据集，为此目的。实验结果表明，这两种算法对人脸输入数据的真伪图像检测效果显著。实验清楚地表明，重型模型可以有效地应用于服务器端实现，而轻型模型可以很容易地在手持设备上实现，并且仅使用RGB输入图像就可以很好地执行。

索引词：面对反欺骗干扰，活性检测，生物识别，CNN可视化，深度学习。

1. 简介

人脸反欺骗一直是人脸验证与识别系统中一个具有挑战性的关键任务。传统的人脸反欺骗系统使用特征人脸[1]、梯度直方图(Histogram of Gradient)[2]或LBP (Local Binary Pattern)特征来执行任务[3]，而最近的系统大多涉及深度神经特征，如deep face[4]、FaceNet[5]、OpenFace[6]。

新兴和普遍使用的红外和深度传感器,已高度简化真实和假的检测图像最近通过一些图像处理技术,然而使用所有这些传感器并不总是可行的,而且以前的产品发布的大多数公司不包括与这些技术。

在本文中，我们解决了仅使用传统相机的RGB帧而不使用辅助数据的人脸抗欺骗问题，这是该领域中最具挑战性的任务。

为了应对面部活性检测的挑战，目前已经发布了一些具有特定属性的数据集。NUAA imposter[7]是一个公开的[7]，包含7509张假图和5105张真图，但是考虑到深度学习所需数据的一般规模，其数据量是有限的。Casia-Surf是最近在CVPR 2019[8]上发布的另一个数据集，它包含所有三种类型的数据，包括RGB、IR和深度数据样本，对多模式系统非常有用。该数据集包含9608训练和验证数据样本。

在反欺骗领域具有历史影响的工作，包含四个主要的方法。一是基于纹理的方法，结合了HoG、LBP等手工特征和SVM等传统分类器来执行任务[9]、[10]。temporal-based方法,另一方面,要么使用面部运动模式(例如,眼睛闪烁)或涉及的脸和背景之间的运动和利用方法,如光流跟踪的运动面临为了区分真正的面孔从假的[11]。一些基于三维结构的方法也被开发出来，这些方法或从二维图像中提取深度信息，或分析用三维传感器记录的三维形状信息，然后将输入样本的三维模型与真实人脸[12]的三维模型进行比较。然而，这种方法需要特定的3D设备，这是不容易获得的，应该是昂贵的。最后，rPPG (Remote Photoplethysmography)方法在不接触任何皮肤[13]、[14]的情况下从面部视频中提取脉冲信号。然而，所有这些系统都非常容易受到假脸攻击和面具的攻击，如果没有深度信息、IR[15]等辅助数据帮助，可能无法应对这些攻击。近年来，基于深度学习的方法已经广泛应用于许多检测和识别任务，以及反欺骗、[16]、[17]。

在本文中，我们解决了反欺骗干扰问题和活性检测使用端到端系统。这项工作的新颖性是多方面的:1)没有任何手工的特性(如猪,和LBP)被利用,2)拟议的系统不需要辅助数据(如深度、IR)和比如仅依据输入RGB图像,3)尽管深层神经网络结构,整个系统很轻,便携,可以部署在手持设备和移动电话与正常商业处理器、4)拟议的系统可以处理所有类型的假图片,5)由于上述每一项成果都提出了一些具有挑战性的问题，所提出的系统能够有效地处理这些问题。