【FST】Explaining Deepfake Detection by Analysing Image Matching

Explaining Deepfake Detection by Analysing Image Matching

会议/期刊： ECCV 2022
作者：

key points

分析图像匹配 【从图像匹配的角度】

旨在解释深度伪造检测模型在仅由二进制标签监督时如何学习图像的伪影特征。

从图像匹配的角度提出了以下三个假设：
1.Deepfake检测模型基于既不与源相关也不与目标相关的视觉概念来指示真实/虚假图像，即将这些视觉概念视为伪影相关。【从源与目标中分割出来】
2.除了对二进制标签的监督外，深度伪造检测模型还通过训练集中的FST匹配（即匹配的伪造、源、目标图像）隐式地学习与伪影相关的视觉概念。
3.通过原始训练集中的FST匹配隐含学习的伪影视觉概念容易受到视频压缩的影响。【压缩因素】

提出了FST匹配深度伪造检测模型，以提高压缩视频伪造检测的性能。

研究

目标：从图像匹配的新角度解释deepfake检测模型的成功。

使用