【论文阅读笔记】Mining Collaborative Spatio-Temporal Clues for Face Forgery Detection

这里介绍人脸伪造检测领域的一个工作，已被期刊Multimedia Tools and Applications接收。

论文：Mining Collaborative Spatio-Temporal Clues for Face Forgery Detection

1. 研究问题

人脸伪造检测（Face Forgery Detection）：给定图像或视频，判断其真伪。本质上是一个二分类问题。

2. 研究难点

多样的人脸伪造方法类型考验模型的泛化能力。

3. 解决思路

key idea：本文通过挖掘低维时空线索学习兼具表达力和泛化性的特征

具体来说，在空间域上构建高频通道差分特征，在时间域上构建帧间残差特征。

3.1. 高频通道差分特征 CDI-HF

• CFA插值特性可以作为判定图像真伪的线索。基于现有工作提出的通道差分图像CDI，本文观察到，在人脸伪造检测时CDI中的高频成分起主要作用，而低频成分会造成干扰。
• 因此，本文采用由自动编码器构成的信号补偿模块，滤除CDI中的低频成分，得到只保留高频成分的CDI-HF。