【AVT2-DWF】Improving Deepfake Detection with Audio-Visual Fusion and Dynamic Weighting Strategies

AVT2-DWF: Improving Deepfake Detection with Audio-Visual Fusion and Dynamic Weighting Strategies

会议/期刊：IEEE SIGNAL PROCESSING LETTERS 2024
作者：

code：https://github.com/raining-dev/AVT2-DWF

背景

随着深度伪造方法的不断改进，伪造信息已经从单模态过渡到多模态融合，对现有的伪造检测算法提出新的挑战。 【单模态——多模态】

points

提出AVT2-DWF，一种基于动态权重融合的视听双变换器，旨在放大模态内和跨模态伪造线索，从而增强检测能力。

AVT2-DWF采用双阶段方法来捕捉面部表情的空间特征和时间动态。

通过具有n帧令牌化策略编码器和音频变换器编码器的面部变换器来实现的。

<