ICASSP 2022 | 用于多模态情感识别的KS-Transformer

原创

于 2022-07-01 19:18:52 发布 · 2.4k 阅读

32 ·

CC 4.0 BY-SA版权

文章标签：

#语音识别 #人工智能

本文介绍了华南理工大学与优必选科技合作的“类人情感智能”联合创新实验室在ICASSP 2022发表的论文——KS-Transformer，这是一种用于多模态情感识别的新方法。KS-Transformer通过键稀疏Transformer结构，自动寻找并关注情感相关片段，提高了情感识别的准确性。实验结果表明，该方法在IEMOCAP和LSSED数据库上表现出优越性能，证实了多模态信息的有效融合和稀疏注意力机制的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2020年，优必选科技与华南理工大学合作共建了“类人情感智能”联合创新实验室，在双方强强联合下，联合创新实验室在相关技术上不断取得突破。近期，该实验室的最新论文《Key-Sparse Transformer For Multimodal Speech Emotion Recognition》（用于多模态情感识别的KS-Transformer），就入选了刚刚结束的ICASSP 2022（International Conference on Acoustics, Speech and Signal Processing) ，该会议由电气电子工程师学会(IEEE)主办，是全世界最大、最全面的声学、语音和信号处理国际会议。

以下是该论文的核心观点。

多模态情感识别是人机交互中的重要技术，也是人工智能走向类人智能时所需要攻克的关键难题。在以往的大多数研究工作当中，情感识别系统会考虑输入语音信号或文字信号中的所有信息。但是，在整段的信号里面，蕴含有情感信息的片段往往只占整体中的一部分。在情感识别过程中，情感无关的信息会成为系统中的噪声，从而影响识别系统的性能。因此，如何让系统尽量关注信号中蕴含有丰富情感信息的片段&

最低0.47元/天解锁文章