方面级paper8Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis(2019ACL)

Paper link: https://arxiv.org/pdf/1906.01213v1.pdf

Code link:

Source:2019 ACL

Author:Jasminexjf

Time:2019-06-25

ACL会议是自然语言处理领域NLP的顶会，覆盖了语言分析，信息抽取，信息检索，自动问答，情感分析和观点挖掘，文摘和文本生成，文本分类和挖掘，面向Web2.0的自然语言处理，机器翻译，口语处理等众多研究方向。ACL被中国计算机学会推荐国际学术会议列表认定为A类会议.

该文章的信息：title：Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis（作者：Jialong Tang, Ziyao Lu, jinsong su, Yubin Ge, Linfeng Song, Le Sun and Jiebo Luo）。论文共同第一作者是中国科学院软件研究所2018级博士研究生唐家龙和厦门大学软件学院2018级硕士研究生陆紫耀，通讯作者是苏劲松副教授。

概述1:

本文针对神经网络在学习过程中存在的强模式过学习和弱模式欠学习的问题，提出了渐进自监督注意力机制算法，有效缓解了上述问题。本文主要基于擦除的思想，使得模型能够渐进的挖掘文本中需要关注的信息，并平衡强模式和弱模式的学习程度。在基于方面层次的情感分析三个公开数据集和两个经典的基础模型上测试表明，所提出的方法取得了不错的性能表现。

概述2：

在方面层次的情感分类任务中，使用注意力机制来捕获上下文文本中与给定方面最为相关的信息是近年来研究者们的普遍做法。然而，注意力机制容易过多的关注数据中少部分有强烈情感极性的高频词汇，而忽略那些频率较低的词。 

本文提出了一种渐进的自监督注意力的学习算法，能够自动的、渐进的挖掘文本中重要的监督信息，从而在模型训练过程中约束注意力机制的学习。该团队迭代的在训练实例上擦除对情感极性“积极”/“消极”的词汇。这些词在下一轮学习过程中将会被一个特殊标记替代，并记录下来。最终，团队针对不同情况，设计出不同的监督信号，在最终模型训练目标函数中作为正则化项约束注意力机制的学习。 

在SemEval 14 REST，LAPTOP以及口语化数据集TWITTER上的实验结果表明，团队提出的渐进注意力机制能在多个前沿模型的基础之上取得显著性提升。 

基础架构如下：

                 
1. Abstract:

In aspect-level sentiment classification (ASC), it is prevalent to equip dominant neural models with attention mechanisms, for the sake of acquiring the importance of each context word on the given aspect. However, such a mechanism tends to excessively focus on a few frequent words with sentiment polarities, while ignoring infrequent ones. In this paper, we propose a progressive self-supervised attention learning approach for neural ASC models, which automatically mines useful attention supervision information from a training corpus to refine attention mechanisms. Specifically, we iteratively conduct sentiment predictions on all training instances. Particularly, at each iteration, the context word with the maximum attention weight is extracted as the one with active/misleading influence on the correct/incorrect prediction of every instance, and then the word itself is masked for subsequent iterations. Finally, we augment the conventional training objective with a regularization term, which enables ASC models to continue equally focusing on the extracted active context words while decreasing weights of those misleading ones.

2. Introduction

Aspect-level sentiment classification (ASC), as an indispensable task in sentiment an