《An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis》阅读笔记

An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis 阅读笔记

1.摘要

ABSA主要是对一个自然语言的句子进行处理，得到aspect term及其情感列表。这个任务通常是通过pipeline（管道）方式完成的，先进行方面项抽取，然后对抽取的方面项进行情感分类。这种方法容易开发，但是没有充分利用来自两个子任务的联合信息，也没有使用使用所有有用的训练信息源，例如文档标记的情感语料库。

本文提出了一种交互式多任务学习网络（IMN），它联合了文档级、aspect级的多个任务。

与传统的多任务学习方法依赖于学习不同任务的共同特征不同，IMN引入了一种消息传递体系结构，通过一组共享的潜在变量将信息迭代传递给不同的任务。

2.介绍

AE : aspect term extraction（实体项抽取）
AS：aspect-level sentiment analysis（方面级情感分析）
DS：document-level sentiment classification（文档级情感分类）
DD：document-level domain classification（文档级域分类）

IMN引入了一种新的消息传递机制，允许任务之间相互交互。具体来说，它将不同任务的有用信息发送回共享的潜在表示。然后将这些信息与共享的潜在表示相结合，并提供给所有任务进行进一步处理。此操作是迭代执行的，允许随着迭代次数的增加修改信息并在多个链接之间传播。

通过共享任务的学习机制，不仅可以更好地通过共享任务来影响不同的任务，而且还可以通过共享的任务来更好地影响彼此之间的信息。

结合两个文档级别的分类任务，从而允许方面级别任务从文档级任务中获取信息

3. 相关工作

3.1 pipeline的缺点：

1. 第一步中的错误往往会传播到第二步，从而导致整体性能较差。
2. 无法利用任务之间的共性和关联（有助于减少训练两个任务所需要的数据量）。

3.2 Multi-Task learning

传统多任务的缺点：没有对任务之间的交互进行明确的建模，两个任务之间的交互只是通过误差反向传播来实现，这种内隐式交互是不可控的。

改进：与以往的方法不同，IMN不仅允许共享表示，而且通过使用迭代消息传播方案显式的建模任务之间的交互。传播的信息有助于学习和推理，从而提高ABSA的整体性能。

4.模型

输入的是句子序列 {x₁，…，x_n} ，作为所有任务之间共享的特征提取组件 f_θs 的输入，该组件是有一个单词嵌入层和几个特征提取器构成的。

f_θs 的输出是所有任务共享的潜在向量序列：