论文4:ACL2020-Relational Graph Attention Network for Aspect-based Sentiment Analysis
一.论文思想
1.前三篇论文的局限
(1)首先,忽略了依赖关系,这种依赖关系可能表示方面和意见词之间的联系。
(2)从经验来看,只有一小部分解析树与任务相关,没有必要对整个树进行编码。
(3)最后,编码过程是依赖于树的,使得在优化过程中批量操作不方便
2.本论文的思想
在这篇文章中,我们重新检查了语法信息,==并指出揭示任务相关的句法结构是解决上述问题的关键。==我们提出了一种新的面向方面的依赖树结构,分三步构建。首先,我们使用一个普通的解析器获得一个句子的依赖树。其次,我们重塑依赖树,使其扎根于目标方面。最后,执行树的修剪以仅保留与方面有直接依赖关系的边。这种统一的树结构不仅使我们能够关注方面和潜在意见词之间的联系,而且便于批处理和并行操作。然后我们提出了一个关系图注意网络模型来编码新的依赖树。R-GAT将图注意力网络(GAT)推广到编码有标记边图。
二.模型结构
1.构建面向方面的依存树
2.依存树中的各节点经过词嵌入(Glove)后,叶子节点和根节点分别输入到两个Bi-LSTM中
3.Bi-LSTM的输出经过R-GAT网络(在GAT的基础上进行改进,加入了relational heads)
4.最后进行分类输出
三.具体流程
1.面向方面的依存树构建
(1)基于Attention模型的局限
句子的句法结构可以通过依存分析来发现,依存分析是一种生成依存树来表示语法结构的任务。ABSA的方面、注意力和句法之间的关系如上图三个例子所示:在第一个例子中,like这个词被用作动词,它表达了对方面recipe的积极情感,基于注意力的LSTM模型成功地注意到了这一点。然而,当它在第二个例子中用作介词时,模型仍然以很高的权重关注它,导致错误的预测。第三个例子展示了一个案例,一个句子中有两个方面具有不同的情感极性。对于方面chick