Generative Aspect-Based Sentiment Analysiswith Contrastive Learning and Expressive Structure阅读笔记

Generative Aspect-Based Sentiment Analysiswith Contrastive Learning and Expressive Structure

摘要：

在这项工作中GENSCL-NAT，它由两种改进的结构生成技术组成，用于ACOS四重提取。
首先提出了GENSCL，这是一个有监督的对比学习目标，通过鼓励模型产生在关键输入属性(如情感极性和隐式意见和方面的存在)上可区分的输入表征来辅助四元组预测。其次引入了GEN-NAT，这是一种新的结构化生成格式，可以更好地适应自回归编码器-解码器模型，以生成方式提取四元组。修改了模型训练目标，增加了GEN-SCL，这是一个辅助的监督对比学习目标，该目标要求模型在关键特征(如隐含的方面和意见的存在，以及表达的情感极性)上区分地表示示例。监督对比损失用于最大化不一致示例之间的余量并最小化一致示例之间的余量。其次使用GEN-NAT引入了一个修改后的生成目标格式，从三个方面提高了目标格式的自然度: 通过(1)用人类可读的类别描述替换现有的方面类别标签；(2)实施可重复的“基于扫描”的四元间排序；(3)修改四元组内格式，以反映与自回归解码一致的四元组成分的自然因果顺序。

方法：

3.1 GEN-SCL Supervised Contrastive Loss
提出了GEN-SCL，这是一个辅助SCL目标，它鼓励编码器-解码器模型区分地表示输入的几个关键特征，同时对ACOS四元组提取的下游生成任务进行微调。给模型赋予了学习表征范例级情感、方面和意见特征的任务。图1显示了每个特征的标签集。
通过为每个特征c∈{Sentiment; Aspect; Opinion}提供一个唯一的全连接层FC来提供和池式编码器表示Mean(Encode(xi))，从而生成例如x的表示。这生成了表示hci。在实验中，全连接层的输入和输出的维数都是1024。
监督对比学习鼓励模型最大化相同标签示例之间的表示相似性，并最小化不同标签示例之间的表示相似性。遵循Sedghamiz等人(2021)的通用SCL公式，其中对于训练小批M中的特征c和训练样例xi，损失为:
为了确保每个示例xi ∈M至少有一个相同标签的示例进行比较，首先用每个mini-batch小批元素的一个dropout-altered视图扩展M，在保持原始标签的同时，用dropout概率p = 0.1扰动每个示例表示hci。

损失：

3.2 GEN-NAT Structured Generation Format

张等人的生成格式：四元组与分隔符连接以形成最终输出:


GEN-NAT Structured Generation Modifications：GEN-NAT结构化生成修改
对现有的释义生成格式进行了三个修改，以帮助解码：
1）修改了Pc(ci)，现在将其定义为原始ci(“Laptop#Usability””)到自然类别描述(“the laptop usability”)的映射。还改变了情感线性化p (si)，简单地使用[“positive”, “neutral”, “negative”]，因为观察到“okay”通常在评论文本中暗示消极的情绪(例如“The food was just okay. I wouldn’t return.”)。
2）对于多输出情况，根据Meng等人(2020)，即使在预测无序集时，一致的排序在训练中也是有用的；在它们之后，使用“scan-based”的排序，根据它们最后出现的显式方面或意见项输出四组。只有隐含方面和意见跨度的四元组以随机顺序最后生成。
3）修改了四元组线性化格式，遵循Mao等人（2022）的做法，以自然的自上而下的因果排序输出四要素：（C，A，O，S）。现在，情感预测取决于方面和意见输出。还用“|”划分了一些四元组组件，以减少将预测映射回ACOS格式时的解析歧义。
得到的NAT生成格式如下:

实验结果：