本文探讨了多模态连续维度情感识别的挑战，提出了基于多模态融合的“条件注意融合（CA-fusion）”策略。通过在每个阶段动态关注不同模态并分配权重，该策略在连续情感预测中表现优越。实验表明，CA-fusion在valence预测上优于早期融合，且在视觉特征存在与否的情况下，都能优于单模态预测。
0. 题目
《Multi-modal Conditional Attention Fusion for Dimensional Emotion Prediction》
《基于多模态条件注意融合机制的多模态情感预测》
1. 研究问题
“离散”：数据不可再分，比如：计数（1、2、3…）、分类（A/B/C/D）、等级数据（1/2/3）
”连续“：数据可再分（提高精度可以量出更多位数），比如：身高
情感分析在组成形式上可以分为：单模态 or 多模态，在表现形式上可以分为：离散 or 连续
模态选择：文本、图像、语音
离散的情况：比如对分类情况的【喜、怒、恐】、【arousal（正 or 负）、valence（兴奋 or 平静）】
连续：比如对arousal进行量化：eg：”我喜欢这件衣服，但是它尺寸太大了“，量化后【正：0.2362，负：0.7638】
对单模态的研究相对成熟、在数据集充分的下，一般能达到实验室的理想状况，但是不满足工业环境的需要。我们生活中接触到的信息大多是多模态的，比如：评论（文本+图片），在线直播（文本+视频）、字幕的匹配（文本+音频）。因此解决多模态的融合提高情感
最低0.47元/天 解锁文章
扫一扫
916
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
