Raki的读paper小记：CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks

Abstract & Introduction & Related Work

• 研究任务
  • aspect sentiment classification in domain incremental learning
  • 对比持续学习
• 已有方法和相关工作
  • 完善的只是新任务的学习，他们并没有处理灾难性遗忘的问题，每个任务使用一个单独的网络。
  • 基于胶囊网络
• 面临挑战
• 创新思路
  • 第一次在ASC领域探索持续学习
  • 结合了对比学习
  • 现有的对比学习使用现有数据（如图像）的各种转换（如旋转和裁剪）来生成数据的不同视图。然而，我们使用以前的任务模型中的隐藏空间信息来创建视图，以进行显式知识转移和提炼。现有的对比性学习无法做到这一点
• 实验结论

ASC的说明如下。给出一个方面的术语（例如，手机评论中的声音质量）和一个包含该方面的句子（例如，“声音质量很差”），ASC对该句子是否表达了对该方面的积极、消极或中立的意见进行分类

(1) 本文提出了ASC的领域问题持续学习的问题，这在以前是没有尝试过的。
(2) 本文提出了一个新的模型，称为 CLASSIC的新模型，该模型使用适配器将预训练的BERT纳入ASC的持续学习中，是一种新的对比性持续学习方法。一种新颖的对比性持续学习方法，用于知识转移和提炼，以及任务掩码来隔离特定任务的知识，以避免灾难性遗忘

Proposed CLASSIC Method

所提出的技术CLASSIC采用了(Xu et al., 2019)中基于BERT的ASC表述，其中方面术语（例如，声音质量）和评论句（例如，“声音质量是 大”）通过[SEP]进行串联。情感 极性是在[CLS]标记的基础上预测的

如前所述，尽管BERT可以在单一任务上达到SOTA，但它的结构和微调架构不适合于CL (见第1节），表现非常差（第4.4节）。我们发现，（Houlsby等人）中的BERT适配器想法。2019）中的BERT适配器更适合于CL

BERT Adapter

AdapterBERT（Houlsby等人，2019）给出了这个想法，它在BERT的每个转换层中插入了两个2层全连接的网络（适配器）（图1（CSC））。在结束任务的训练期间，只有适配器和归一化层被更新。所有其他的BERT参数都被冻结。这对CL来说是好事，因为微调BERT会导致严重的遗忘。适配器-BERT实现了与微调BERT类似的精度（Houlsby等人，2019）

Overview of CLASSIC

使用adapt