超级会员免费看
本文研究了深度伪造检测模型的工作原理，通过分析视觉概念在图像匹配中的作用来解释模型预测。提出了三种假设，探讨了模型如何学习伪造相关特征。实验表明，通过区分源和目标图片的视觉概念，以及在不同训练集条件下学习，可以提升模型在压缩视频上检测伪造图像的性能。最后，文章介绍了解纠缠和图匹配技术在去除干扰和提升检测准确率方面的作用。
一、研究背景
1.大量工作将深度伪造检测作为一个二分类任务并取得了良好的性能。
2.理解模型如何在二分类标签的监督下学习伪造相关特征仍难是个艰巨的任务。
3.视觉概念：具有语义的人脸区域，如嘴、鼻子、眼睛。
二、研究目标
1.验证假设，并从图像匹配的角度评估视觉概念的关系，以此解释检测模型的预测结果。
2.解释深度伪造检测模型如何在二分类标签的监督下学习伪影特征。
3.习得更好的检测模型，提高在压缩视频上的伪造检测性能。
三、研究动机（3种假设）
1.检测模型将既不与原图相关也不与目标图相关的视觉概念看作是与伪造相关的视觉概念，性能良好的检测模型应该基于源/目标-无关的视觉概念来判断真伪。
2.在标签的监督下，伪造-原图-目标图匹配可以帮助丢弃伪造无关视觉特征，隐式学习伪造相关的视觉概念。
3.利用原始训练集进行图片匹配习得的视觉概念容易受到视频压缩的影响。
四、技术路线
假设1：
- 设计源编码器vsv_s
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
