4、EMO - AVSR：用于视听情感语音识别的两级方法

EMO - AVSR：用于视听情感语音识别的两级方法

1. 引言

自动视听语音识别（AVSR）近年来取得了巨大成功，在有限词汇任务中甚至远超人类通过视听数据识别语音的能力。然而，目前最先进的基于视频的语音识别（VSR）方法和基于音频的语音识别（ASR）方法，在实际应用场景中仍存在显著的性能下降问题。特别是当语音记录受到人类情感影响时，这些方法的性能会急剧下降，现代AVSR系统可能无法正确识别语音信号。

在实际场景中，理解处于情感状态的人的语音和非语言线索（如手势）对许多应用至关重要。情感状态识别不仅涉及语音，还包括面部表情和手势中的情感线索。近年来，为了提高AVSR系统在各种现实场景中的可靠性，对情感语音和手势识别的研究越来越受到重视。

由于情感在音频和视频模态中的表达方式不同，目前还没有一种现成的解决方案来实现对情感鲁棒的AVSR。情感会改变语音的音色、音高、响度、声音持续时间、停顿和发音等特征。本文提出了一种基于视听语音处理的情感语音识别新的两级方法（EMO - AVSR），旨在先通过面部识别情感类别/效价，然后使用预训练的特定情感模型进行AVSR。

2. 相关工作

尽管技术有了进步，并且有大规模的真实环境语料库，但目前最先进的ASR和VSR方法在情感语音识别方面仍然不可靠。

2.1 情感识别

随着神经网络模型的发展，特别是VGG、ResNet等深度神经网络架构的引入，现代视觉情感识别（VER）方法开始发展。近五年有大量相关研究发表。目前最先进的深度学习情感识别模型有三种常见架构：卷积神经网络（CNN）与循环神经网络（RNN）结合、3DCNN和双流网络，用于识别时空输入。