（六）：基于端到端深层注意力记忆网络的多模态情感分析问题研究

国内外研究现状

文本情感分析

文本情感分析主要有三种方法:基于语料库的文本情感分析, 基于机器学习的文本情感分析和基于深度学习的文本情感分析。主要的深度学习方法包括卷积神经网络(CNN)、长短 时间记忆网络(LSTM)、注意力网络等。

图像情感分析

多模态情感分析

利用多种模态的数 据，对用户的情感倾向或情绪进行更加准确的解读。
Huang 等人提出了一种深度多模态注意力融合模型(DMAF)， 采用混合的融合机制进行情感分析。一方面是利用视觉特征和文本特征的内在 相关性，采用中间融合的方法将两种模态的特征结合起来，另一方面将三种模 型(文本分类器，图像分类器，图文结合分类器)的结果结合起来用于得到最终 的情感预测的结果[31]。
缪裕青等人对图文融合的微博进行情感分析。首先，使 用微调的 CNN 训练图像情感分类器(FCNN)，之后获得文本的词嵌入向量，输 入到 BiLSTM 中训练文本情感分类器，最后根据图文融合公式，即为文本和图 像两种模态在多模态情感分析的结果中非分不同的权重，的到最后的微博图文 情感分析的结果[33]。

多模态研究架构

相关理论及技术

<