《Aspect-Category-Opinion-Sentiment Quadruple Extraction with Implicit Aspects and Opinions》论文笔记

一、摘要

1. 产品的评论中包含了许多隐含的方面和意见，但是在以往的方面级情感分析中常常忽略这一点。
2. 本文提出了一个新的任务，Aspect-Cateogry-Opinion-Sentiment(ACOS)四元组抽取任务，以此来支持从评论中挖掘更多的隐含方面和意见。
3. 此外，作者还构建了两个新的数据集来适应这项任务，Restaurant-ACOS 和 Laptop-ACOS。两个数据集都包含了四元组抽取和隐含的aspects 和 opinions。
4. 作者还尝试用四个baseline 系统去进行测试

二、介绍

1. 方面级情感分析的核心任务是从产品评论中提取实体和描述方面的opinions，并判断方面的情感极性。

2. 方面级情感分析包含许多子任务：aspect-sentiment extraction 和 aspect-opinion extraction 和 aspect-opinion-sentiment triple extraction。

3. 但是大多数现有的研究都只能实现explicit aspects和opinions 的抽取，而忽视了评论中implicit aspects和opinions。从下表中可以清晰地看到评论中implicit aspects和opinions占比。

   

4. 四元组抽取示例如下：

   

5. ACOS 四元组抽取任务主要会面临下面两个挑战：

   • 没有标记好的包含所有implicit aspects 和 opinions的 aspect-category-opinion-sentiment 四元组抽取数据集。
   • 如何构建一个好的模型去整合两个抽取任务（方面抽取、意见抽取）、两个分类任务（方面分类、情感分类）。

6. 为了解决这些问题，作者构建了两个新的数据集Restaurant-ACOS（对于SemEval Restaurant数据集增加了四元组抽取标注）和Laptop-ACOS（在亚马逊收集的Laptop数据）。

7. 通过将原来的二元组抽取、三元组抽取任务改造成四元组抽取任务，作者提出了四个baseline：Double-Propagation-ACOS, JET-ACOS, TAS-BERT-ACOS and Extract-Classify-ACOS

三、任务

1. 方面级情感分析常见的一些定义：

   • Aspect：意见所指向的实体的属性。
   • Category：在一个特定的领域中，方面属于的类别。
   • Opinion：对于方面的形容，通常是形容词或形容词短语。
   • Sentiment：语义对于方面情感极性的倾向（Positive、Negative、Neutral）

2. 从评论中抽取的四元组可以定义如下：

   

四、数据集

1. 下面是对两个数据集的展示：

   

2. 与其他数据集的一个对比

   

五、方法

1、Double-Propagation-ACOS

• Double Propagation (DP)是一种基于规则的aspect-opinion-sentiment三元组抽取方法
• 我们分两步完成四元组抽取任务。首先，利用DP算法去抽取aspect-opinion-sentiment三元组，然后我们再将得到的aspect进行分类，从而得到ACOS四元组。
• 在进行分类时，将aspect分到最常出现的类别或者相近的类别。

2、JET-ACOS

• JET模型是aspect-opinion-sentiment三元组抽取任务中效果比较好的模型

• 我们分为两步完成四元组抽取任务。首先，基于JER模型我们得到候选的aspect-opinion-sentiment三元组，然后基于Bert模型获得aspect category。

• 给定一个评论的句子r，我们传入Bert模型得到隐藏状态
  。然后，根据候选的三元组，分别计算u_a = avg(h_a) and u_o = avg(h_o),然后将两者concat起来，输入到全连接网络中，再经过sigmoid函数，得到分类结果。

  

3、TAS-BERT-ACOS

• TAS-BERT模型是效果较好的aspect-category-sentiment 三元组抽取任务

• 通过下面几步完成四元组抽取任务：

  1. 首先通过TAS-BERT模型得到候选 category c、sentiment s、aspect。

  2. 将r、c、s传入BERT模型得到隐藏状态。h[CLS]用于category-sentiment验证。

     

     

  3. 将h_r输入到CRF得到分类结果。

     

  4. 将分类的结果和之前抽取的三元组进行笛卡尔积运算，得到候选四元组。

     

  5. 最后，将aspect和opinion的向量平均，传入到全连接层，判断是否有效，得到最终抽取的四元组。

     

4、Extract-Classify-ACOS

• 通过两步实现四元组抽取。第一步，在评论中抽取aspect-opinion二元组，然后基于aspect-opinion预测category-sentiment。

• 先将评论放入BERT模型中，得到隐藏状态。

  

• 对于explicit aspect-opinion，使用CRF来完成。其中我们使用h[CLS]来判断是否implicit aspect or opinion。得到潜在的aspect set S_A, opinion set S_O。进行笛卡尔积操作，得到：

  

• 最后我们对向量取平均输入到全连接层结果。

  

• 模型整体架构

  

六、实验

1. 实验结果如下：

   

2. 可以看到，DP（基于规则）和JET-ACOS无法发现隐含的aspect和opinions。

七、个例实验

八、总结

本文作者的主要贡献在于提出了Aspect-Category-Opinion-Sentiment的新任务，提出了4个baseline实验。

但是，对于评论中隐含aspect和隐含opinion的提取效果还有很大的进步空间