深圳大学 | 基于多层级对齐和轮转注意力的多模态人脸反欺诈（AAAI 2025 oral）

最新推荐文章于 2025-04-02 23:26:25 发布

原创最新推荐文章于 2025-04-02 23:26:25 发布

· 888 阅读

30 ·

版权

文章标签：

#ui #人工智能 #深度学习 #excel #数据分析

在这里插入图片描述

一、方法介绍

随着人脸识别技术在金融认证、公共安全等多媒体场景的深度应用，基于多模态数据的人脸反欺诈（Face Anti-Spoofing, FAS）技术成为抵御打印攻击、重放攻击等人脸呈现攻击的核心防线。当前主流多模态人脸反欺诈方法虽致力于融合RGB、深度和红外等多源数据，却普遍忽视模态间潜在特征差异对模型性能的深层影响。这种隐式的特征融合策略存在双重缺陷：首先，缺乏显式的模态特征对齐机制，导致跨模态表征空间存在系统性偏移，严重阻碍互补信息的协同挖掘；其次，异质模态间的特征鸿沟在训练过程中持续累积，使得模型在应对未知攻击场景时出现显著泛化能力退化。

针对上述挑战，我们提出了基于多层级对齐代理任务与轮转注意力的多模态人脸反欺诈框架，如图1所示。首先，我们使用ViT为每个模态单独提取特征。之后，通过实例层级和类层级的对齐代理任务，以RGB模态作为桥梁，对三个模态在特征空间进行显式对齐。最后，在对RGB模态浅层融合特征后，我们对对齐后的三模态应用动态轮转的注意力机制进行融合。

在这里插入图片描述

图 1 模型整体框架图

对于对齐任务，如图2所示，我们构建了实例层级与类层级的双重对齐代理任务：通过实例级对比学习缩小跨模态特征距离，同时在间实施严格的真假样本类别匹配约束，实现从局部细节到全局语义的完整多层级对齐。

在这里插入图片描述

图 2 实例级别对齐和类级别对齐的细节

轮转注意力的核心是通过循环切换每个模态在注意力计算中的“角色”（如图3所示）：在每个计算单元中，三个模态（RGB/Depth/IR）将轮流承担注意力机制中的Query、Key、Value角色。这种动态角色切换机制使每个模态既能主动发起注意力查询（作为Q），也能被动提供特征响应（作为K/V）。相较于传统注意力机制，该设计无需增加参数即可有效增强模型捕捉互补信息的能力。

在这里插入图片描述

图 3 轮转注意力的细节

二、实验评估

本研究在在主流的四个多模态人脸反欺诈数据集（CeFa, MmFA, WMCA和HQ-WMCA）上进行了大量实验。具体来说，我们在CeFa上训练并在其他数据集上测试。实验结果如表1所示，我们的方法取得了最佳的结果。

表1不跨数据集和跨数据集的测试结果

在这里插入图片描述

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述