19、ShallowFake：基于深度学习的虚假视频检测

ShallowFake：基于深度学习的虚假视频检测

1 引言

近年来，随着数字和相机技术的飞速发展，以及社交网络的不断壮大，数字媒体的编辑和传播变得前所未有的便捷。然而，这也为视频的数字篡改和伪造打开了方便之门，虚假视频的泛滥给社会带来了诸多负面影响，严重扰乱了全球范围内的身份认同和隐私概念。

2 背景

区分真假图像或视频一直是法医调查人员面临的难题。目前的检测方法主要从信号层面（如JPEG压缩）或物理层面（如光照条件）入手，多数技术利用小波域统计特征的规律性进行检测。近年来，追踪面部表情模式的非统计方法也逐渐兴起。

2017年12月，一名Reddit用户利用人工智能技术制作了虚假色情视频，“DeepFake”的概念由此诞生。此后，DeepFake技术在影视行业等领域有建设性的应用，如降低添加CGI纹理的成本，但也被用于传播虚假信息等不良目的。

DeepFake主要借助自动编码器来检测目标和受害者的面部特征。通过对不同方向的面部扭曲模型进行训练，以准确检测面部关键点。受害者的编码器根据目标编码器提取的特征来提取特征点，然后使用受害者的解码器重建目标视频，将目标的面部特征替换为受害者的特征，从而生成虚假视频。

3 相关工作

3.1 基于眨眼检测的方法

有研究通过检测眨眼来揭露AI生成的虚假面部视频。他们采用深度学习模型，结合卷积神经网络（CNN）提取眼睛特征以确定眼睛状态，并使用长短期记忆网络（LSTM）和循环神经网络（RNN）捕捉眨眼模式的时间规律，区分眼睛的开合状态。然而，该方法存在局限性，高级伪造者可以通过后期处理和更多训练数据制作出逼真的眨眼效果，而且当面部与相机