Datawhale AI夏令营-从零入门CV图像竞赛(Deepfake攻防)

Deepfake图像攻防
1.Deepfake是什么
Deepfake是一种使用AI技术生成的以视频和音频为主的伪造媒体，它们看起来或听起来非常真实，但实际上是由计算机根据音视频生成的。这种技术通常涉及到深度学习算法，特别是生成对抗网络（GANs），它们能够学习真实数据的特征，并生成新的、逼真的数据。
深度伪造技术通常可以分为四个主流研究方向：

• 面部交换专注于在两个人的图像之间执行身份交换；
• 面部重演强调转移源运动和姿态；
• 说话面部生成专注于在角色生成中实现口型与文本内容的自然匹配；
• 面部属性编辑旨在修改目标图像的特定面部属性；

2.如何识别Deepfake？
可以通过以下逻辑步骤进行人工识别Deepfake的图片：

• 首先，观察图片的细节。仔细检查人物的面部特征，尤其是眼睛和嘴巴，看是否有不自然的眨眼频率或口型与说话内容不同步的现象。
• 接着，检查光线和阴影。分析图片中的光源是否一致，阴影的方向是否与光源相符，不自然的光线或阴影可能是图片被修改的迹象。
• 然后，分析像素。放大图片，寻找是否有模糊或像素化的部分，这可能是Deepfake技术留下的瑕疵。
• 此外，注意背景。检查背景中是否有不协调的元素，比如物体边缘是否平滑，背景中是否有不自然的重复模式。

3.Baseline
根据入门指南中的指导手册，按照步骤依次进行即可完成baseline的运行得到输出果，主要使用了resnet18作为训练网络，采用预训练、图像增强等方式提高模型的泛化能力。
之后，在baseline基础上，替换网络结构为efficientnet，epoch为5，批量大小为32，采用adam优化器，训练集跟验证集按照5:1的比例分别扩大到50000和10000张，在五个训练周期中识别准确率大幅度提升，为之后进一步优化提供方向。
参考资料：Datawhale学习指南。