多模态多标签情感分析

Multi-modal Multi-label Emotion Detection with Modality and Label
Dependence

多模态多标签情感分析

论文引用地址：https://www.aclweb.org/anthology/2020.emnlp-main.291
EMNLP 2020

概要

提出了一种多模态seq2set(MMS2S)方法，同时对模态和标签依赖进行建模

步骤

1. 采用了三种基于Transfomer的单模态编码器来捕捉文本、视觉和声学模式的单模态特性
2. 给定的情感表示处理来自情感解码器内部编码器的三个模态内序列，并利用Multi-head soft modality attention控制不同模式对每个潜在情感预测的不同贡献
3. 通过最大化顶级K序列的概率来训练模型，并通过找到最有可能的情绪标签集来预测所有潜在的情绪标签

数据预处理

1. GloVe单词嵌入用于表示来自手工转录本的单词。 然后，我们得到文本序列
2. Facet1用于提取一组视觉特征，包括面部动作单元、面部地标、头部姿势、凝视跟