(三十):基于交互注意力机制的多模态情感识别算法_姚懿秦
摘要
在多模态语音情感识别中,现有的研究通过提取大量特征来识别情感,但过多的特征会导致关键特征被淹没在相对不重要特征里,造成关键信息遗漏。为此提出了一种模型融合方法,通过两种注意力机制来寻找可能被遗漏的关键特征。本方法在 IEMOCAP 数据集上的四类情感识别准确率相比现有文献有明显提升; 在注 意力机制可视化下,两种注意力机制分别找到了互补且对人类情感识别重要的关键信息,从而证明了所提方法 相比传统方法的优越性。
0 引言
1 交互注意力机制网络 GATASA 和具体算法
在许多监督学习的场景或人机交互软件中,人类的情感总 是起到至关重要的作用,但是又很难识别。通常可通过很多人类的特征来识别情感, 比如表情、声音、说话的内容等。结合更多数据源( 即多模态 情感识别) 可使情感的识别更加准确。
多模态情感识别的基础是每一类型特征的单独情感识别, 常见的有语音、文本、视频情感识别,本文是基于语音和文本的 多模态情感识别。任何一种情感识别都包括数据预处理、特征提取和分类器三个模块。
语音情感识别中,基于深度学习和传统方法的系统区别较大:
- 数据预处理:
传统的数据预处理基于 MFCC( Mel- frequency cepstral coefficients)[1] 或者 LPCC( linear predictive coding coefficie