[论文笔记-4]Does syntax matter? A strong baseline for Aspect-based Sentiment Analysis with RoBERTa

题目、作者

论文连接：https://aclanthology.org/2021.naacl-main.146.pdf

Abstract

1. 提出问题：预训练模型中是否包含足够的ABSA语法信息，使我们仅基于预训练模型就能得到一个良好的ABSA模型？

2. 结论：来自微调(fine-tuned)RoBERTa(FT-RoBERTa) 的诱导树(induced tree)优于解析器(parse)提供的树

3. 实验结果表明：

1）FT-RoBERTa诱导树具有更强的情感词导向能力，有利于ABSA任务的完成

2）纯基于RoBERTa的模型在跨四种语言的六种数据集上的性能优于或接近于以前的SOTA

一、Introduction

1. ABSA：一种细粒度的情感分析，对于一个句子中的一个或多个方面，该任务要求检测所有方面的情感极性。通常来说，ABSA任务包含方面词提取(Aspect Extraction)和方面级情感分析(Aspect-Level Sentiment Classification)

2. ALSC任务的发展史：

1）早期：使用人工设计的句法特征。缺点：工作量大，且不足以完成ALSC任务

2）最近：使用依赖树帮助方面词找到与他们相连接的上下文单词(通常是观点词)

基于依赖树的ALSC模型有三种实现方法：

① 使用依赖树的拓扑结构

② 使用基于树的距离

③ 同时使用拓扑结构和基于树的距离

3）使用预训练模型(例如BERT)：实验结果表明，预训练模型隐含地捕获了某种依赖树结构

作者提出了两个问题：

① 当与不同的基于树的ALSC模型相结合时，由预训练模型导出的树会比依赖解析器给出的树获得更好的性能吗?

② 在微调期间，预训练模型是否会将隐含的树结构应用于ALSC任务?

为了回答这两个问题，作者做了大量的实验

3. 贡献：

① 利用微调预训练模型(FT-PTMs)诱导树建立的模型具有较好的性能。此外，使用微调RoBERTa的诱导树的模型比其他树表现得更好

② 从FT-PTMs中得到的诱导树更倾向于情感词导向，使得方面词直接与它的情感形容词相连

③ RoBERTa能够更好地适应ALSC，帮助各方面找到情感词

二、Related Work

1）无依赖的ALSC

使用LSTM、LSTM+attention、CNN等神经网络模型在不使用依赖树的基础上，完成ALSC任务

2）有依赖的ALSC

ALSC早期的工作主要采用机器学习算法和手工设计特征；最近利用图神经网络(GNN)建模依赖树