论文总结：EXPRESSIVE SPEECH-DRIVEN FACIAL ANIMATION WITH CONTROLLABLE EMOTIONS

本文链接：https://blog.youkuaiyun.com/m0_46312382/article/details/133962540

该论文提出一种方法，利用wav2vec2.0和transformer encoder获取文本向量，结合Auido2FLAME模块预测面部动画参数，同时通过情感控制模块（包括基于双LSTM的情感预测器和CNN的情感增强网络）实现情感表达和控制。在训练阶段，使用DAN获取情感先验，通过最大化音频和视频的互信息来提升情感识别。生成阶段，用户输入的情感条件与音频数据中的情感信息相结合，驱动3D面部表情增强。损失函数包括顶点位置损失和嘴形损失，以平衡嘴唇同步和情感表达。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

存在的问题：现有的语音驱动面部动画方法可以产生令人满意的嘴部运动和嘴唇同步，但在情感表达和情感控制方面存在不足。
在这里插入图片描述
作者使用wav2vec2.0和transformer encoder来获取文本向量和全局风格向量。将其拼接起来通过Auido2FLAME模块来预测flame的参数，Auido2FLAME由多层CNN组成。在此阶段，将主要关注嘴唇同步，并确保嘴部运动的精确性。引入了一个情感控制模块，其中包括一个基于双 LSTM 的情感预测器，后跟一个嵌入层来生成情感相关的潜在特征，以及一个基于 CNN 的情感增强网络来增强 FLAME 参数的表达能力基于情感特征。
在这里插入图片描述

Emotion Control Module：在训练阶段，为了使网络看到输入中的情感变化，我们利用基于图像的情感识别模型来获取帧级情感信息作为情感先验，以方便模型训练。这个作者使用DAN来获取情感先验。作者使用最后一个softmax层之前的logits（包含快乐、愤怒等七种情绪的七维向量）与感知的情绪强度高度一致，所以将其作为情感先验。通过最大化音频和视频之间的互信息（mutual information）(互信息用于衡量两个随机变量之间的相关性，这里用来衡量音频和视频中的情感信息之间的关联)来训练双向LSTM，从而提高情感识别的性能。在生成阶段，通过bi-LSTM网络从音频中提取情感先验，并通过用户输入的情感类别和强度进行更改。用户提供的情感条件转