【论文阅读】An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis

简单来说

本文是将aspect extraction和aspect senmetiment classification整合成一个任务,然后同时用document语料进行多任务训练一部分共享参数,解决as问题数据集小的问题。

摘要

这篇文章提出了一个交互式的多任务学习网络 interactive multi-task learning network,可以同时联合学习多个相关的任务,既有token level 又有document level。不像传统多任务学习方法那样只依赖不同任务的公共特征,IMN引入一种message passing architecture,信息可以同各国一套共享的latent variables迭代的在不同的任务间传递。
实验效果很好。

介绍

常规的处理ABSA的问题是拆成两个问题,pipeline进行,也有一些联合训练的,但是那些联合训练的方法中,两个任务只是通过统一的标签联系在一起,但相互的联系并不明确。此外,还都只从方面级语料中学习,但是方面级语料库又很小,没有好好的利用其他预料的信息,比如相关的文档级情感分析语料,这些语料里又有用的情感相关的语言学知识,而且更容易得到。

这篇文章介绍了IMN,同时解决AE和AS的问题,而且更好的利用了两个任务间的联系。此外,这里AE和AS和文档级别任务一同训练,利用了更大的语料里的信息;还引入了一个比较新的消息传递机制,将有用的信息从不同的任务发送回共享的潜在表示。然后这些信息和共享的潜在表示组合起来,用于后续过程。 这个过程是迭代 进行的,随着迭代次数增加,信息可以在多个链接间被修改和传播。与多数多任务学习相比,IMN不仅允许共享特征,还可以通过这个消息传递机制,显式的建模任务之间的相互作用。

此外IMN还集成了两个文档级别分类任务:情感分类(DS)和领域分类(DD),和AE AS一起训练。

相关工作

多任务学习

传统的多任务学习是用一个共享的网络和两个task specific网络来得到一个共享的特征空间和两个task-specific特征空间。通过使用共享表示并行学习语义相关的任务,在某些情况下,多任务学习可以捕获任务之间的相关性并提高模型泛化能力。
不过传统的多任务学习并没有显式的建模任务间的相互关系——两个任务仅仅通过错误反向传播相互影响,以学习特征,而这种相互作用是不可控的。
IMN就是不仅共享表示,还通过消息传递机制显式建模任务间的关系。

信息传递机制

CV和NLP中都研究过消息传递图形模型推理算法的网络表示。将这些消息传递算法的执行建模为网络会导致递归神经网络体系结构。我们也是类似的在网络中传播信

Bert是一种在自然语言处理中被广泛使用的模型,其在各种任务中表现出了出色的性能。然而,对于方面级情感分析,Bert并不直接适用。因此,需要对Bert进行利用,并通过修改和扩展来适应这一任务。 端到端(end-to-end)的方面级情感分析是指通过一个模型直接从文本中提取方面和情感信息。为了利用Bert进行端到端的方面级情感分析,首先需要对数据进行预处理,并将其转换成Bert模型所接受的输入格式。这包括将文本分段、添加特殊标记以及填充序列等操作。 在Bert模型的基础上,需要添加相关的层来实现方面级情感分析。一种常见的方法是利用注意力机制来捕获方面词与其他词之间的关系。通过计算不同词之间的注意力权重,可以将方面词的相关信息传递给其他词,从而更好地理解整个文本。另外,也可以添加一些分类层来预测每个方面的情感。 为了更好地利用Bert,还可以使用领域特定的语料库来进行预训练。通过在大规模的语料库上进行预训练,模型可以更好地理解特定领域的文本,并提升方面级情感分析的性能。 此外,还可以通过调整Bert模型的超参数来进一步改善性能。例如,可以调整学习率、批大小和训练周期等超参数,以获得更好的结果。 总之,“exploiting bert for end-to-end aspect-based sentiment analysis”意味着通过对Bert进行修改和扩展,将其应用于端到端的方面级情感分析任务中,以提升模型的性能和效果。
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值