（三十）：基于交互注意力机制的多模态情感识别算法_姚懿秦

摘要

在多模态语音情感识别中，现有的研究通过提取大量特征来识别情感，但过多的特征会导致关键特征被淹没在相对不重要特征里，造成关键信息遗漏。为此提出了一种模型融合方法，通过两种注意力机制来寻找可能被遗漏的关键特征。本方法在 IEMOCAP 数据集上的四类情感识别准确率相比现有文献有明显提升; 在注 意力机制可视化下，两种注意力机制分别找到了互补且对人类情感识别重要的关键信息，从而证明了所提方法 相比传统方法的优越性。

0 引言

1 交互注意力机制网络 GATASA 和具体算法

在许多监督学习的场景或人机交互软件中，人类的情感总 是起到至关重要的作用，但是又很难识别。通常可通过很多人类的特征来识别情感， 比如表情、声音、说话的内容等。结合更多数据源( 即多模态 情感识别) 可使情感的识别更加准确。

多模态情感识别的基础是每一类型特征的单独情感识别， 常见的有语音、文本、视频情感识别，本文是基于语音和文本的 多模态情感识别。任何一种情感识别都包括数据预处理、特征提取和分类器三个模块。

语音情感识别中，基于深度学习和传统方法的系统区别较大:

• 数据预处理：
  传统的数据预处理基于 MFCC( Mel- frequency cepstral coefficients)[1] 或者 LPCC( linear predictive coding coefficients)[2]。<