论文笔记：Deep Neural Network Augmentation: Generating Faces for Affect Analysis

Deep Neural Network Augmentation: Generating Faces for Affect Analysis

Dimitrios Kollias1 · Shiyang Cheng2 · Evangelos Ververas1 · Irene Kotsia3 · Stefanos Zafeiriou1

2020年2月发表

只是对部分内容的翻译，需要配合英文原文理解

摘要

本文提出了一种综合面部表情的新方法。根据六个基本表达方式（即愤怒，厌恶，恐惧，喜悦，悲伤和惊奇），或根据效价（即情感有多积极或消极）和唤醒（即情绪激活的力量）。所提出的方法接受以下输入：（i）人的中性2D图像； （ii）基本面部表情或一对价态（VA）情感状态描述符要生成，或者在2D VA空间中要生成的情感路径作为图像序列。为了根据VA合成影响，为此人添加了来自4DFAB数据库的600,000个帧。通过在中性图像上拟合3D变形模型，然后使重构的脸部变形并添加输入的效果，并将具有给定效果的新脸部混合到原始图像中，来实现效果合成。定性实验说明了当从15个知名的实验室控制或野生数据库（包括Aff-Wild，AffectNet，RAF-DB）中采样中性图像时生成的真实图像。与生成对抗网络（GAN）的比较表明，该方法可以实现更高的质量。然后，进行定量实验，其中合成图像用于训练深度神经网络以对所有数据库进行情感识别的数据增强。在任何情况下，与最新方法以及基于GAN的数据增强方法相比，都可以大大提高性能。

1 Introduction

在保留身份信息的同时从单个静态面孔渲染逼真的面部表情是一个开放的研究主题，对情感计算领域具有重大影响。 生成具有不同面部表情的特定人的面部可用于各种应用中，包括面部识别（Cao等人，2018； Parkhi等人，2015），面部验证（Sun等人，2014； Taigman等人，2014） ），情感预测，表情数据库生成，面部表情增强和娱乐。

本文介绍了一种新颖的方法，该方法使用具有中性表情的任意人脸图像，并根据分类或维度情感表示模型生成同一个人但具有不同表情的新人脸图像。 使用带有标记面部表情的小型数据库无法解决此问题，因为通过它们解开面部表情和身份信息确实非常困难。 我们的方法基于对大型4D面部数据库4DFAB（Cheng等人，2018）的分析，我们对其进行了适当注释并用于给定对象面部的面部表情合成。

首先，从连续变量，价（即情感如何积极或消极）和唤醒（情感激活的力量）三个方面，使用维数情感模型（Whissell 1989； Russell 1978）对大量的600,000张面部图像进行注释。 该模型不仅可以表示主要的极端表达，还可以表示在人与人之间或人与机器之间的日常交互中满足的微妙表达。 根据所采用的维度视图，所有情感都可以通过它们在生成的坐标系二维价唤醒空间中的位置来区分。

与分类方法（六个基本表达式加中性状态）相比，该模型的优势在于，它可以导致对实际情绪状态的非常准确的评估； 价和唤醒是潜在的情感维度，因此能够区分不同的内部状态。 此外，分类模型还具有以下缺点：用户可能会具有除特定感觉之外的其他感觉，然后必须将其映射到模型的类别上； 这会导致实际印象的某些失真。 因此，在刻画情感上模棱两可的例子时，分类模型的分辨率较差。 相反，在表示每个情感状态的维度模型中情况并非如此。

其次，根据六种基本面部表情（愤怒，厌恶，恐惧，幸福，悲伤，惊奇）的分类情感模型，从4DFAB中选择了12,000个表情，其中六个基本表情包含包含2000个案例。

所提出的方法接受：（i）一对价值并合成各自的面部表情，（ii）2D VA空间中的情感路径并合成显示其的时间序列，（iii）表示基本面部表情的值 被合成； 在所有情况下，均使用给定的人的中性2D图像适当地传递合成的情感。 第2节涉及有关面部表情合成的相关工作以及与数据增强相关的方法。 第3节介绍了当前工作中使用的材料和方法。 我们描述了在开发中使用的4DFAB数据库和3D可变形模型的注释和使用。 第4节介绍了我们的方法，详细说明了用于合成对图像或图像序列的影响的所有步骤。 第5节提到了分类和维度数据库，我们的方法使用了这些数据库。

在Sect6中进行了广泛的实验研究。首先，对所提出的方法进行了定性评估，与GAN产生的面部表情相比，该方法还显示出更高的质量。然后，我们使用合成的面部图像进行数据增强，并在8个数据库上训练深度神经网络，并用尺寸或类别影响标签进行注释。我们表明，所实现的性能远高于（i）通过相应的最新方法获得的性能，（ii）具有由StarGAN和GANimation网络提供的数据增强功能的相同DNN的性能。与GAN进行进一步比较，将合成的面部图像与原始图像一起用作DNN训练和/或测试数据；这也验证了我们方法的改进性能。还进行了一项消融研究，阐明了数据粒度和受试者年龄对所提出方法的性能的影响。最后，在Sect6中介绍了结论和未来的工作。

所提出的方法包括许多新颖的贡献。 据我们所知，这是第一次在合成人脸图像时考虑到情感的维度模型。 经实验研究验证，生成的图像质量高且逼真。 所有其他方法都会根据六个基本表达式或其他几个表达式来生成合成人脸。 我们进一步表明，提出的方法可以准确地合成六个基本表达式。而且，这是第一次在价和唤醒方面对4D人脸数据库进行注释，然后将其用于情感合成。 这个时态数据库可确保连续的视频帧的注释在VA空间中相邻。 因此，我们产生时间通过使用VA空间中相邻的注释来影响给定中性面上的序列。 在定性实验研究中给出了结果，说明了这种新功能。

还应该提到的是，所提出的方法在呈现中性的面部图像时，无论是在受控环境中还是在野外（例如，不管图像中出现的人的头部姿势）获得时，都很好用。 在涉及情感的大多数重要数据库上进行了广泛的实验研究，结果表明，基于拟议的面部表情