【论文阅读】An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

简单来说

本文是将aspect extraction和aspect senmetiment classification整合成一个任务，然后同时用document语料进行多任务训练一部分共享参数，解决as问题数据集小的问题。

摘要

这篇文章提出了一个交互式的多任务学习网络 interactive multi-task learning network，可以同时联合学习多个相关的任务，既有token level 又有document level。不像传统多任务学习方法那样只依赖不同任务的公共特征，IMN引入一种message passing architecture，信息可以同各国一套共享的latent variables迭代的在不同的任务间传递。
实验效果很好。

介绍

常规的处理ABSA的问题是拆成两个问题，pipeline进行，也有一些联合训练的，但是那些联合训练的方法中，两个任务只是通过统一的标签联系在一起，但相互的联系并不明确。此外，还都只从方面级语料中学习，但是方面级语料库又很小，没有好好的利用其他预料的信息，比如相关的文档级情感分析语料，这些语料里又有用的情感相关的语言学知识，而且更容易得到。

这篇文章介绍了IMN，同时解决AE和AS的问题，而且更好的利用了两个任务间的联系。此外，这里AE和AS和文档级别任务一同训练，利用了更大的语料里的信息；还引入了一个比较新的消息传递机制，将有用的信息从不同的任务发送回共享的潜在表示。然后这些信息和共享的潜在表示组合起来，用于后续过程。 这个过程是迭代 进行的，随着迭代次数增加，信息可以在多个链接间被修改和传播。与多数多任务学习相比，IMN不仅允许共享特征，还可以通过这个消息传递机制，显式的建模任务之间的相互作用。

此外IMN还集成了两个文档级别分类任务：情感分类（DS）和领域分类（DD），和AE　AS一起训练。

相关工作

多任务学习

传统的多任务学习是用一个共享的网络和两个task specific网络来得到一个共享的特征空间和两个task-specific特征空间。通过使用共享表示并行学习语义相关的任务，在某些情况下，多任务学习可以捕获任务之间的相关性并提高模型泛化能力。
不过传统的多任务学习并没有显式的建模任务间的相互关系——两个任务仅仅通过错误反向传播相互影响，以学习特征，而这种相互作用是不可控的。
IMN就是不仅共享表示，还通过消息传递机制显式建模任务间的关系。

信息传递机制

CV和NLP中都研究过消息传递图形模型推理算法的网络表示。将这些消息传递算法的执行建模为网络会导致递归神经网络体系结构。我们也是类似的在网络中传播信