Solving Aspect Category Sentiment Analysis as a Text Generation Task

解决方面类别情感分析作为文本生成任务

主要的方法通过学习有效的方面类别特定表示，并在其预训练表示中添加特定的输出层来利用预训练的语言模型。我们考虑了一种利用预训练语言模型的更直接的方法，将 ACSA 任务转换为自然语言生成任务，使用自然语言句子来表示输出。我们的方法通过在预训练期间直接遵循任务设置，允许在 seq2seq 语言模型中更直接地使用预训练的知识。在几个基准上的实验表明，我们的方法给出了最好的报告结果，在小样本和零样本设置中具有很大的优势。

1. 介绍
   基于方面的情感分析（ABSA）是一种细化的情感分析任务，包括许多子任务，其中两个是方面类别情感分析（ACSA）和方面类别检测（ACD）。图 1 显示了一个示例，其中输入是“餐厅很贵，但菜单很棒”。 ACD 检测方面类别，例如价格和食物，而 ACSA 预测每个方面类别的情绪极性。在这项工作中，我们专注于这两个任务以及结合两者的联合任务。

以前的研究已经研究了将 ACSA 和 ACD 视为分类任务的各种方法，学习特定方面的句子表示（Wang et al., 2016; Ruder et al., 2016）。最近，预训练的语言模型（PLM）已经证明了它们的有效性（Jiang et al., 2019）。主要思想是利用预训练模型，例如 BERT (Devlin et al., 2019a) 来表示输入的特定方面形式（例如，通过将方面类别连接到输入句子，它为 ACSA 和 ACD 分类器提供了有用的语义特征。这些方法已经产生了极具竞争力的结果。

上述分类模型受益于上下文化表示，其中包含通过对大数据进行预训练学习的知识（Lin et al., 2019）。然而，由于至少两个原因，他们对预训练知识的使用可以被视为间接的。首先，分类任务是通过在预训练表示之上使用神经网络执行的，具有单独的网络参数。其次，方面类别的整合使得特定方面的输入表示不完全是自然语言句子，这与预训练设置不同。直观地说，可以通过在任务级别连接预训练和 ACSA 来利用更多预训练的知识，而不仅仅是在表示级别。
我们通过将情感分类任务转换为语言建模任务来研究上述潜力。特别是，如图 2 所示，ACSA 和 ACD 都被转换为序列到序列 (seq2seq) 任务，其中编码器获取输入句子，解码器生成自然语言句子。对于 ACD，输出遵循一个模板，说明是否讨论了特定方面（例如，“讨论了 hcategory_typei 类别”）；对于 ACSA，说明了特定方面的情感极性（例如，“hgiven_categoryi 的情感极性是 hpolarity_typei”）。

该设置与去噪密切对应BART 的自动编码器训练方案（Lewis 等人，2020），我们将其用作预训练模型。

与基于分类的方法相比，我们的方法不包含更多的网络参数，因此可以更好地泛化到新的领域（Brown 等人，2020；Gao 等人，2020）。给定一个具有完全看不见的方面类别和情感标签的新域，我们的方法可以在不改变输出层结构的情况下应用。

还将掩码语言模型 (MLM) 作为基线，如图 3(b) 所示，与我们的方法不同，MLM 将输出模板与输入连接，关键字进行预测。与这种 MLM 方法相比，生成方法可以更好地将输入和输出模板之间的相关性学习为两个相关序列，这已通过 BART 在抽象文本摘要方面的强大性能得到证明（Lewis 等人，2020）。