本文介绍了华南理工大学与优必选科技合作的“类人情感智能”联合创新实验室在ICASSP 2022发表的论文——KS-Transformer，这是一种用于多模态情感识别的新方法。KS-Transformer通过键稀疏Transformer结构，自动寻找并关注情感相关片段，提高了情感识别的准确性。实验结果表明，该方法在IEMOCAP和LSSED数据库上表现出优越性能，证实了多模态信息的有效融合和稀疏注意力机制的重要性。
2020年，优必选科技与华南理工大学合作共建了“类人情感智能”联合创新实验室，在双方强强联合下，联合创新实验室在相关技术上不断取得突破。近期，该实验室的最新论文《Key-Sparse Transformer For Multimodal Speech Emotion Recognition》（用于多模态情感识别的KS-Transformer），就入选了刚刚结束的ICASSP 2022（International Conference on Acoustics, Speech and Signal Processing) ，该会议由电气电子工程师学会(IEEE)主办，是全世界最大、最全面的声学、语音和信号处理国际会议。
以下是该论文的核心观点。
多模态情感识别是人机交互中的重要技术，也是人工智能走向类人智能时所需要攻克的关键难题。在以往的大多数研究工作当中，情感识别系统会考虑输入语音信号或文字信号中的所有信息。但是，在整段的信号里面，蕴含有情感信息的片段往往只占整体中的一部分。在情感识别过程中，情感无关的信息会成为系统中的噪声，从而影响识别系统的性能。因此，如何让系统尽量关注信号中蕴含有丰富情感信息的片段，是提高情感识别准确率的关键。
我们基于Transformer架构，提出了一种全新的键稀疏Transformer结构（Key-Sparse Transformer, KS-Transformer），
最低0.47元/天 解锁文章
扫一扫
到【灌水乐园】发言
