融合情感轮注意力的情感分布学习

摘 要

情感分布学习是一种近年提出的有效的多情绪分析模型，其核心思路是通过情感分布记录示例在各个情绪上的表达程度，适于处理存在情绪模糊性的情感分析任务。

针对现有的情感分布学习方法较少考虑情感心理学先验知识的问题，提出一种基于情感轮注意力的情感分布学习（emotion wheel attention based emotion distributionlearning，EWA-EDL）模型。EWA-EDL模型为每种基本情绪生成一个描述情绪心理学相关性的先验情感分布，再通过注意力机制将基于情感轮的先验知识直接融入深度神经网络。EWA-EDL模型采用端到端的方式对深度网络进行训练，同时学习情感分布预测和情绪分类任务。EWA-EDL模型主要由5部分构成，分别为输入层、卷积层、池化层、注意力层和多任务损失层。

在8个常用的文本情感数据集上的对比实验表明，EWA-EDL模型情感分布预测和情绪分类任务上的性能均优于对比的情感分布学习方法

引言

人类情感是一个复杂的现象，各种基本情绪之间高度相互关联，呈现出正相关性或负相关性。正相关的情绪更有可能同时发生，负相关的情绪则很少一起出现 [9] 。

传统的情绪识别模型，大部分基于单标记学习（singlelabel learning）或多标记学习（multi-label learning），为示例关联一个或多个情绪标签，不能定量地分析具有不同表达强度的多种情绪 [5] 。为了解决这一问题，Zhou等人于2015年在面部表情识别任务中首次提出情感分布学习（emotion distribution learning，EDL）[6] 。EDL借鉴标记分布学习（label distribution learning，LDL）的研究思路，认为文本和图像等媒介表达的情感是多种基本情绪的混合，各种基本情绪在同一示例上具有不同的表达强度。示例的各个基本情绪的表达强度介于0和1之间，所有基本情绪的表达程度之和为1。所有基本情绪在某个示例上的表达程度共同构成一个情感分布（emotion distribution）[6] 。

1 相关工作

为了定量地处理一个示例同时表达多种强度不同的情绪的情况，Zhou等人 [6] 借鉴标记分布学习（LDL）[5]的研究思路，于 2015年提出情感分布学习（EDL）。此后，Zhou等人 [13] 于 2016 年提出面向文本的 EDL 方法。一个句子可能表达一种或多种情绪，每种情绪的表达强度不同。

情感分布学习可以有效地处理一个示例同时表达多种情绪的问题，适用于存在情绪模糊性的任务 [6] 。近年来，许多学者在EDL领域提出了多个有效的研究工作 [10-14] 。按照是否考虑情绪标签间相关性的角度划分，现有的EDL工作可以分为如下三大类：

不考虑情绪标签相关性的方法。早期的大部分EDL 工作不考虑情绪标签间的相关性，例如 Zhou 等人 [13] 使用最大熵模型从句子文本直接预测情感分布，没有考虑情绪的相关性；Zhang等人 [22] 提出基于多任务卷积神经网络（multi-task convolutional neural network，MT-CNN）的EDL模型，同时优化情感分布预测和情绪分类任务；Li等人 [23] 将单词与具有定量强度的细粒度情感标签联系起来，提出了一种结合领域知识和维度词典来生成词级情感分布向量的新方法。
从训练数据学习标签相关性的方法。此类方法是当前EDL方法的一个热门研究方向。Jia等人 [10] 在人脸表情识别任务上挖掘数据中的局部标签相关性进行情感分布学习；Fei等人 [14] 提出一种潜在情感记忆网络学习数据中潜在的情感分布，并将其有效地利用到分类网络中；Xu和Wang [11] 提出一种基于注意力机制的情感分布学习方法，取得图像的各个区域与情感分布之间的关系。
通过引入外部先验知识考虑标签相关性的方法。此类方法利用心理学情感先验知识，考虑情绪标签间的相关性，以提升情绪识别模型的泛化性能。目前考虑情感先验知识的EDL工作还比较少，He和Jin [12] 提出一种基于情感轮心理学模型的情绪图卷积网络的EDL方法（EmotionGCN）。EmotionGCN 主要由两部分组成：用于提取图像特征的 CNN 模块和考虑先验知识的基于GCN的权重生成器。

2 基于情感轮注意力的情感分布学习

2.1 普鲁契克情感轮

罗伯特·普鲁契克于1980年提出的情感轮理论，是一种从心理学角度描述人类情绪间相互关系的经典模型 [15] 。普鲁契克情感轮（Plutchik’s wheel of emotions）包含愤怒（anger）、厌恶（disgust）、悲伤（sadness）、惊讶（surprise）、恐惧（fear）、信任（trust）、高兴（joy）和期待（expect）8 种基本情绪。如图2所示，8种基本情绪在情感轮中分为4组对立的情绪，对角位置的情绪具有负相关性，位置相邻的情绪具有正相关性。

按照情绪在情感轮中的间隔角度的大小，定义情绪之间的心理学