【论文阅读】An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

最新推荐文章于 2023-10-31 11:26:44 发布

原创

最新推荐文章于 2023-10-31 11:26:44 发布 · 1.6k 阅读

2 ·

CC 4.0 BY-SA版权

An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

简单来说

本文是将aspect extraction和aspect senmetiment classification整合成一个任务，然后同时用document语料进行多任务训练一部分共享参数，解决as问题数据集小的问题。

摘要

这篇文章提出了一个交互式的多任务学习网络 interactive multi-task learning network，可以同时联合学习多个相关的任务，既有token level 又有document level。不像传统多任务学习方法那样只依赖不同任务的公共特征，IMN引入一种message passing architecture，信息可以同各国一套共享的latent variables迭代的在不同的任务间传递。
实验效果很好。

介绍

常规的处理ABSA的问题是拆成两个问题，pipeline进行，也有一些联合训练的，但是那些联合训练的方法中，两个任务只是通过统一的标签联系在一起，但相互的联系并不明确。此外，还都只从方面级语料中学习，但是方面级语料库又很小，没有好好的利用其他预料的信息，比如相关的文档级情感分析语料，这些语料里又有用的情感相关的语言学知识，而且更容易得到。

这篇文章介绍了IMN，同时解决AE和AS的问题，而且更好的利用了两个任务间的联系。此外，这里AE和AS和文档级别任务一同训练，利用了更大的语料里的信息；还引入了一个比较新的消息传递机制，将有用的信息从不同的任务发送回共享的潜在表示。然后这些信息和共享的潜在表示组合起来，用于后续过程。这个过程是迭代进行的，随着迭代次数增加，信息可以在多个链接间被修改和传播。与多数多任务学习相比，IMN不仅允许共享特征，还可以通过这个消息传递机制，显式的建模任务之间的相互作用。

此外IMN还集成了两个文档级别分类任务：情感分类（DS）和领域分类（DD），和AE　AS一起训练。

相关工作

多任务学习

传统的多任务学习是用一个共享的网络和两个task specific网络来得到一个共享的特征空间和两个task-specific特征空间。通过使用共享表示并行学习语义相关的任务，在某些情况下，多任务学习可以捕获任务之间的相关性并提高模型泛化能力。
不过传统的多任务学习并没有显式的建模任务间的相互关系——两个任务仅仅通过错误反向传播相互影响，以学习特征，而这种相互作用是不可控的。
IMN就是不仅共享表示，还通过消息传递机制显式建模任务间的关系。