AUNet: Learning Relations Between Action Units for Face Forgery Detection

最新推荐文章于 2026-01-06 18:04:18 发布

原创最新推荐文章于 2026-01-06 18:04:18 发布 · 508 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉

本文提出了一种结合数据处理和辅助任务的新方法，通过Action-UnitsRelationLearning框架，特别是Action-UnitsRelationTransformer(ART)，利用AU间的局部区域关系，以提高在跨数据集上的伪造检测性能。实验结果显示了显著的泛化性增强。

部署运行你感兴趣的模型镜像

一、研究背景
现有方法均在跨数据集检测时性能较差，现有方法分为两类：
1、数据处理：数据增强、人工合成
2、辅助任务整合：添加相关损失

二、研究动机
1、生物学研究中常用来做面部特征理解的面部单元关系较少被纳入考虑
2、一组AU会共同负责某一表情，这意味着AU之间有潜在联系
2、人脸操纵会减弱facial action units (AU)之间的联系

三、研究目标
同时利用数据处理与辅助任务整合，并结合使用人脸动作单元的关系线索。

四、技术路线
在这里插入图片描述
关注于AU相关的局部区域之间的关系，提出Action-Units Relation Learning framework，提高伪造检测的泛化性。
1、Action Units Relation Transformer (ART)

ART通过AU-agnostic支路和AU-specific支路构建不同AU之间的关系，两条支路协同作用、互相补充，以挖掘伪造线索。
（1）AU-specific Branch：提取单个AU的特征，并通过注意机制建立它们之间的关系。
（2）AU-agnostic Branch：VIT

2、Tampered AU Prediction (TAP)
在这里插入图片描述
篡改与AU相关的区域生成伪样本，通过生成的监督信号来预测被篡改的AU区域。
（1）Region Modification (ARM)：
Partial Face Mask：
随机从面部掩膜 $M_f$ 中移除部分 AU-related regions，得到 $M_p$ 。
Image-level Tampering：
将原图像 $I$ 进行图像级色彩或频率变换，得到 $I_t$ 和 $I_s$ ，并进行重组，得到fake-image $I_f$
在这里插入图片描述
Feature-level Mixing：
混合真实图片、伪造图片的Mask部分，最后加入伪造图片的Mask以外部分。