(三十):基于交互注意力机制的多模态情感识别算法_姚懿秦

本文提出了一种名为GATASA的多模态情感识别模型,融合交互注意力机制来增强关键特征的选择。在IEMOCAP数据集上,GATASA在语音和文本情感识别中取得了显著的准确性提升,并通过可视化证明了其在强调关键信息和弱化不重要特征方面的优越性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

摘要

在多模态语音情感识别中,现有的研究通过提取大量特征来识别情感,但过多的特征会导致关键特征被淹没在相对不重要特征里,造成关键信息遗漏。为此提出了一种模型融合方法,通过两种注意力机制来寻找可能被遗漏的关键特征。本方法在 IEMOCAP 数据集上的四类情感识别准确率相比现有文献有明显提升; 在注 意力机制可视化下,两种注意力机制分别找到了互补且对人类情感识别重要的关键信息,从而证明了所提方法 相比传统方法的优越性。

0 引言

1 交互注意力机制网络 GATASA 和具体算法

在许多监督学习的场景或人机交互软件中,人类的情感总 是起到至关重要的作用,但是又很难识别。通常可通过很多人类的特征来识别情感, 比如表情、声音、说话的内容等。结合更多数据源( 即多模态 情感识别) 可使情感的识别更加准确。

多模态情感识别的基础是每一类型特征的单独情感识别, 常见的有语音、文本、视频情感识别,本文是基于语音和文本的 多模态情感识别。任何一种情感识别都包括数据预处理、特征提取和分类器三个模块。

语音情感识别中,基于深度学习和传统方法的系统区别较大:

  • 数据预处理:
    传统的数据预处理基于 MFCC( Mel- frequency cepstral coefficients)[1] 或者 LPCC( linear predictive coding coefficie
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值