weixin_45420890的博客

本文针对多模态讽刺检测提出来一种新的模型Detection(ConAttSD)，在模型中使用的两个编码器既能够提取上下文信息，也能提取模态间的不一致性信息。而且对比注意机制也是第一次运用到多模态讽刺检测领域，我们看到了ConAttSD模型通过多模态对比注意机制捕捉多模态不一致信息的能力，而且也能运用到未来的多模态会话情感识别中。...

自从Web 2.0出现以来，对话视频已经通过电影、网络研讨会和视频聊天等平台在互联网上扩散开来。来自这些资源的情感检测可以惠及众多领域，如咨询，公共意见挖掘，财务预测，以及智能系统，如智能家庭和聊天机器人等。但之前的工作忽略了两个影响对话情绪的两个主要因素1、说话人的自我影响，即情绪惯性，也就是说一个人这句话的情绪会被前几句话所影响；2、第二个是说话者之间的情绪影响。即另一个人在说话者的情感状态中扮演影响者的角色。相反，说话者也倾向于反映对方的情绪......

本文作为多模态情感识别领域中一篇比较早发表的文章，为我们后续研究多模态提供了很多很好的思路，但是作者研究的多模态情感分析系统是面向对话级数据集的，可能会存在一些应用方面的瓶颈。本文注重于使用各种有效的方法从不同模态中提取特征，尤其是使用基于语义计算来对文本特征进行特征提取，大大的提高系统的性能，这也为我们提供了未来的一个方向，可以通过研究更有效的方法来对多模态信息源进行特征提取，这样能够优化模型性能。...

以往的多模态情感分析的工作中并没有直接考虑模态内和模态间的动态，而是执行早期融合（也称为特征级融合）或后期融合（也称为决策级融合）。早期融合主要包括在输入层面上简单地连接多模态特征，但是这种方法不能有效地建模模态内特征。而后期融合包括独立训练单模态分类器和执行决策投票，这种方法也不能有效地建模模态间动态。而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。作者在本文中介绍了一种新的用于情感分析的端到端融合方法，该方法明确表示行为之间的单模态、双模态和三模态的交互。......

仅具有文本特征的单模态实验的表现优于当前最先进的实验。在所有三个数据集上，视觉和文本模式结合在一起时比其他双模态实验产生了更好的准确性。