一、研究背景
1.目前的伪造模型溯源工作都是基于GAN生成数据,基于身份交换和表情转换的研究相对较少。
2.现有方法假定训练集、测试集的标签空间相同,因此面对未知攻击时性能较差。
二、研究动机
隐藏在无标签未知数据中的伪造线索没有得到充分探究。
不同伪造手段关注区域不同,局部细粒度特征的比较更为重要。
排名第二第三的预测结果依然有较高概率为正确类,只将排名最高的预测结果作为标签会带来严重噪声。
三、研究目标
基于open-world场景,利用无标签数据同时提高对已知伪造手段和未知伪造手段的溯源性能。
判断输入数据是否为伪造,若为伪造,则基于伪造手段进行分类(无论伪造手段是否已知)。
四、技术路线
提出Contrastive Pseudo Learning(CPL)框架

1.引入全局-局部投票模块引导特征对齐
- 选取与锚点样本最相似的样本,利用全局特征计算 L G R L_{GR} <
该研究针对开放世界场景下DeepFake的检测与溯源问题,提出了Contrastive Pseudo Learning (CPL)框架。现有的方法在面对未知伪造手段时表现不佳,CPL利用无标签数据增强已知和未知伪造方法的识别能力。通过全局-局部投票模块引导特征对齐,设计软伪标签策略减少噪声,并采用多阶段学习进行预训练和迭代优化。实验结果显示,CPL在DeepFake溯源和二分类任务上表现出高准确性。
订阅专栏 解锁全文
1145

被折叠的 条评论
为什么被折叠?



