3、人脸分割、人脸交换及其对人脸识别的影响

人脸分割、人脸交换及其对人脸识别的影响

1. 引言

人脸交换是指将源照片中的面部外观转移到目标照片中的面部，在替换目标面部的同时，努力生成逼真、自然的结果。如今，人脸交换常与网络流行梗联系在一起，但它的重要性远不止于此。它可用于隐私保护、数字取证，还能作为一种潜在的特定人脸数据增强方法，尤其在训练数据稀缺的应用场景中，如面部情感识别。

人脸交换为开发和测试基本的人脸处理能力提供了绝佳机会。当在任意选择、不受约束的图像之间进行人脸交换时，无法保证视角、表情、3D 人脸形状、性别等属性的相似性，这就需要强大而有效的人脸对齐、分割、3D 形状估计、表情估计等方法。

我们提出了一种人脸交换方法，并在对图像及其配对没有控制的环境中进行测试。通过广泛的定量测试评估该方法，这些测试使我们能够衡量人脸交换对机器人脸识别的影响，从安全应用和人脸感知的角度提供见解。具体贡献如下：
- 人脸分割的半监督标注：通过利用运动线索和 3D 数据增强，提供了一种生成带有面部分割标签的丰富图像集的新方法。所收集的数据用于训练全卷积网络（FCN），使其能够比现有方法更快、更准确地分割人脸。
- 人脸交换管道：描述了一种基于图像的人脸交换管道，并证明它在难度前所未有的图像和图像对上效果良好。
- 定量测试：尽管已经有十多年的研究，但与其他面部处理任务（如识别）不同，人脸交换方法从未进行过定量测试。我们提供了第一个针对主体内和主体间人脸交换系统的定量评估协议。

定性结果表明，我们交换后的人脸与其他方法产生的人脸一样有说服力，甚至更胜一筹。定量测试进一步表明，我们的主体内人脸交换对人脸验证准确性影响很小，即交换不会以影响主体身份的方式改变图像。对于随机选择的主体间配对，