DomainForensics: Exposing Face Forgery across Domains via Bi-directional Adaptation

一、研究背景
1.新的深度伪造手段层出不穷且生成的图片与现有数据集差距极大。
2.现有数据集上性能良好的检测技术在面对新的伪造手段时会出现性能骤降现象。
3.许多工作试图在数据层面上寻找各种方法共有的伪造痕迹以提升检测技术的泛化性能。
4.数据增强、频域特征提取、零样本学习、少样本学习都有各自的缺点。

二、研究动机
1.zero-shot方法难以利用新增样本，few-shot方法需要对样本进行注释，无监督域自适应模式可以规避上述方法的问题。
2.伪造痕迹相对细微，且单向域自适应方法会在知识迁移的过程中丢失目标域的部分信息，因此现有无监督域自适应模型难以直接应用。

三、研究目标
1.关注深度伪造检测器的学习策略，令其习得不同域的共有特征。
2.通过对齐域差异将习得的伪造相关知识从源域迁移到目标域，并获得新增深度伪造手段的相关知识。

四、技术路线
从无监督领域自适应的角度提出双向自适应策略，结合正向域自适应和反向域自适应，使检测器提取新型伪造特征的同时避免遗忘已有伪造知识。

1.前向域自适应：在源域中对检测器进行有监督训练，同时，联合使用对抗性特征自适应，将检测能力迁移到新增伪造手段中。

• 有监督交叉熵分类损失
  
• 有监督对抗损失
  

2.反向域自适应：通过对新增伪造手段进行自蒸馏，解耦对抗性自适应，进一步增强知识迁移。

• 自蒸馏损失(多分类交叉熵)
  
• P、P‘为教师、学生网络的蒸馏概率
  

3.参数复制：在训练epoch结束时，将学生网络的参数复制给教师网络。

五、算法流程

六、实验结果

六、思考
正向网络：提取伪造痕迹，进行域自适应。
反向网络：无类别约束（真伪判断）的情况下进行域自适应，相对提取的域无关特征更充分，但分类能力会下降。
应作修正：在下一轮次训练时，copy操作使正向网络对反向网络的分类偏差做修正。