【DCGANs】《Improving Face Liveness Detection Robustness with Deep Convolutional Generative xxx》

Padnevych R, Semedo D, Carmo D, et al. Improving face liveness detection robustness with deep convolutional generative adversarial networks[C]//2022 30th European Signal Processing Conference (EUSIPCO). IEEE, 2022: 1866-1870.

EUSIPCO-2022

---

---

1、Background and Motivation

随着非侵入式面部认证和生物识别技术在智能手机和其他设备上的广泛应用，其面临的欺诈风险也日益增加。特别是面部欺骗（Face Spoofing），即使用某人的面部照片或视频来绕过安全验证，已成为一种低成本且高风险的攻击手段。为了应对这一挑战，需要开发更加复杂和鲁棒的面部活体检测技术。

传统的面部活体检测方法往往依赖于对真实面部特征的统计分析和机器学习模型。然而，由于数据稀缺（ data scarcity）和攻击手段的不断演进，这些方法在实际应用中的鲁棒性受到限制。

Pulse estimation through remote photoplethysmography (rPPG) 是人脸活检的方法之一

rPPG（Remote Photoplethysmography，远程光电容积描记术）是一种通过摄像头捕捉人体皮肤表面微血管变化的非接触式生理监测技术。其核心原理基于心脏跳动时血液流动引起皮肤反射光强度的周期性变化。通过分析这些光信号，rPPG可以实时提取心率、呼吸率等生理指标，并进一步关联情绪状态。

但是 data scarcity（缺乏数据，相比 rgb 获取难度大一些）训练出来的模型鲁棒性不够

可以利用数据增强来提升模型的鲁棒性，如添加随机噪声（伪造脉冲信号质量有限）

作者提出了一种基于深度卷积生成对抗网络（deep convolutional generative adversarial networks，DCGAN）的方法来生成高质量的伪造脉冲信号，以增强活体检测模型的鲁棒性。

2、Related Work

• 面部活体检测技术
• rPPG信号提取方法（EVM、CNN-based）
• 生成对抗网络（GANs）在信号处理中的应用
• 面部活体检测中的数据增强技术（GAN）

3、Advantages / Contributions

• DCGAN 生成伪造脉冲信号：利用DCGAN生成与真实脉冲信号分布相似的伪造信号，为活体检测模型提供更丰富的训练数据。

• 增强活体检测模型的鲁棒性：通过训练模型识别伪造脉冲信号，提高其对各类攻击手段的防御能力。

• 提出一种新的活体检测框架：结合 DCGAN 生成的伪造信号和传统攻击手段（如视频回放），构建了一种更加鲁棒的活体检测框架。

4、Method

（1） Generator of artificial Pulse signals

利用 GAN 来生成假的脉冲信号

生成器的输出维度 128，经 tanh function 激活，范围 -1，1，注意生成器用的是 transposed convolutional layers

（2）Non-linear Discriminator for liveness detection

判别器做二分类， 1 (artificial signal) or 0 (real signal)

use strided convolutional layers instead of using pooling to reduce the input sample

This enables the the network to learn its own pooling function

（3）Cost function

为了避免训练初期生成器梯度消失的问题，一般不最小化后者，改为最大化下面公式的后者

信号提取与分类：使用 Eulerian Video Magnification（EVM）技术从面部视频中提取脉搏信号。将提取的脉搏信号输入到分类器中，判断其是否为伪造信号。

（4） Training Process of the DCGAN

Discriminator Update

Generator Update

（5）Injecting Fake Generated Pulse Signals in Face Videos

we vary the green color in an amount that is sampled from the generated signal

作者通过调整静态照片中面部区域的绿色颜色强度，使其按照生成的伪造脉搏信号的波形变化，从而模拟出血液流动时皮肤颜色的微妙变化。这种变化通常是由真实的心跳引起的，因此通过这种模拟，可以制作出看似真实的面部视频，用于测试面部活体检测系统的鲁棒性。

5、Experiments

（1）Datasets and Metrics

自己采集的，评价指标 F1 score 和 AUC

real videos were captured under different stress conditions, such as rest, after walking upstairs and after brisk walking, to create diverse pulse variations

（2）Presentation Attack Detector Baselines

• GAN：作者的方法
• GAN-2：少两层 CNN
• GAN+2：多两层 CNN

对比的方法

• Linear：simple fully connected feed-forward neural network (FFNN) + sigmoid activation function
• TCN：是一种基于卷积神经网络（CNN）的序列建模方法，特别适用于处理时间序列数据。与循环神经网络（RNN）相比，TCN具有更高的并行计算效率和更稳定的梯度传播特性，因为它避免了RNN中的循环连接，从而减少了梯度消失或爆炸的风险。
• CNN+Res：CNN + 残差

（3）Results and Discussion

模型收敛性：实验结果表明，DCGAN模型在训练过程中能够稳定收敛（图3a），生成高质量的伪造脉冲信号（图3b）。

start->end 表示训练阶段

---

Robustness to Presentation Attacks

推理的时候用的是判别器

表一可以看出，模型越复杂（非线性程度），效果越好，最好的是 TCN，其次是作者的方法——that performance is directly linked to the classifier complexity

adding generated signals helps improving the performance，R VS F 没有 R vs （F+G） 强，说明作者引入的数据增强确实发挥了作用

---

ROC curves

TCN 方法是比作者的方法要好

6、Conclusion（own） / Future work

• 之前有深度学习的方法生成过 ECG信号，即心电图信号（Electrocardiogram, ECG/EKG），作者本文生成的是 rPPG
• 判别器不用 pooling 的解释，This enables the the network to learn its own pooling function
• 思路不错，不过数据集是自己的，效果也没有比 SOTA 强
• 注意 rPPG 标签是如何生成的（EVM），以及如果利用 rPPG 信号如何制造假图片（Green Channel）

---

未来展望

• 多架构脉冲生成：探索使用多种架构的生成模型来生成脉冲信号，增加攻击者的攻击难度。（本文用的是 GAN）
• 实时性能优化：进一步提高活体检测模型的实时性能，以满足实际应用中的快速响应需求。
• 跨领域应用：将该方法拓展到其他生物识别领域，如指纹识别、虹膜识别等，以提高整体系统的安全性。

---

6.1、Remote Photoplethysmography，rPPG

rPPG（Remote Photoplethysmography）信号的获取主要依赖于非接触式的光学测量技术，通过捕捉人体皮肤表面的颜色变化来间接估计血液容积的变化，从而反映心跳等生理信息。

一、基本原理

rPPG 技术基于光电容积脉搏波原理，即当心脏跳动时，血液容积的变化会导致皮肤对光的吸收率发生变化。这种变化可以通过捕捉皮肤反射或透射的光信号来间接测量。

二、获取步骤

视频采集

• 使用 RGB 相机或摄像机捕捉包含面部区域的视频。
• 确保视频采集环境的光照条件稳定，以减少光照变化对信号提取的影响。

面部区域检测与对齐

• 在采集到的视频中，使用面部检测算法（如Haar特征、深度学习模型等）定位面部区域。
• 对面部区域进行对齐，以减少头部姿态变化对信号提取的影响。这通常涉及将面部区域裁剪并缩放到固定大小。

信号提取

• 颜色空间转换：将面部区域的RGB图像转换到合适的颜色空间（如YUV、HSV等），以便更好地捕捉血液容积变化引起的颜色变化。
• 空间滤波：对面部区域进行空间滤波（如高斯模糊），以减少噪声和干扰。
• 时间滤波：对滤波后的面部区域进行时间滤波（如带通滤波），以提取与心跳频率相对应的信号成分。
• 信号归一化：对提取到的信号进行归一化处理，以便后续分析。

信号处理与分析

• 对提取到的rPPG信号进行进一步处理，如去趋势、去噪等，以提高信号质量。
• 分析处理后的信号，提取心率等生理指标。 这通常涉及计算信号的频谱、峰值检测等方法。

三、常见方法

• 基于颜色空间的方法
  利用皮肤颜色随血液容积变化而变化的特性，在特定颜色空间（如绿色通道）中提取rPPG信号。

• 基于运动放大的方法
  如Eulerian Video Magnification（EVM），通过放大视频中的微小运动变化（如心跳引起的皮肤颜色变化）来增强rPPG信号。

• 基于深度学习的方法
  利用卷积神经网络（CNN）等深度学习模型自动从面部视频中提取rPPG信号。这种方法通常具有更高的鲁棒性和准确性。

四、应用与挑战

• rPPG 技术在健康监测、情感计算、人机交互等领域具有广泛的应用前景。然而，在实际应用中，rPPG 信号的提取仍面临诸多挑战，如光照变化、头部姿态变化、皮肤颜色差异等。因此，研究者们正在不断探索新的算法和技术来提高 rPPG 信号的提取精度和鲁棒性。

6.2、Eulerian video magnification，EVM

Wu H Y, Rubinstein M, Shih E, et al. Eulerian video magnification for revealing subtle changes in the world[J]. ACM transactions on graphics (TOG), 2012, 31(4): 1-8.

Eulerian Video Magnification（EVM）通过放大视频中的微小运动变化来提取 rPPG 信号。

EVM 是一种开源的视频处理技术，其核心功能是通过欧拉放大技术来增强视频中不易察觉的细微变化，如心跳引起的皮肤颜色变化。

以下是 EVM 提取 rPPG 信号的主要步骤：

视频加载和处理：

• 从本地文件加载视频，并将其转换为浮点数格式以便进一步处理。

频率选择和放大：

• 用户可以指定要放大的频率范围，通常选择与人体心率对应的频率范围（如 0.7~4 Hz）。
• 通过调整放大系数来增强特定频率的运动，即放大由心跳引起的皮肤颜色变化。

频率分析：

• 提供频率分析工具，帮助用户识别视频中存在的频率成分，以便选择合适的放大参数。

信号提取：

• 经过放大处理后，视频中的心跳信号变得更加明显。
• 通过进一步的分析和处理，可以从放大的视频信号中提取出 rPPG 信号。

生理指标测量：

• 从提取的 rPPG 信号中，可以进一步分析得到心率、呼吸率等生理指标。

EVM 技术通过放大视频中的微小变化，使得原本难以察觉的心跳信号变得可见，从而实现了非接触式的心率测量。这种方法在健康监控、情绪检测等领域具有重要的应用价值。

值得注意的是，EVM 技术在实际应用中可能会受到环境光照条件、头部姿态等因素的影响。为了克服这些挑战，研究者们提出了一系列的方法，如基于传统手工设计方法和数据驱动方法，来优化 rPPG 信号的提取过程。