A Two-Stream AMR-enhanced Model for Document-levelEvent Argument Extraction（TSAR）

最新推荐文章于 2025-06-12 00:43:08 发布

星宇星静

最新推荐文章于 2025-06-12 00:43:08 发布

阅读量841

点赞数 24

文章标签： nlp 信息抽取自然语言处理神经网络图论

本文链接：https://blog.youkuaiyun.com/weixin_54703767/article/details/142727753

版权

摘要

以往的大多数研究都是从单个句子中提取事件，而文档级事件提取仍未得到充分探索。在本文中，我们着重于从整个文档中提取事件参数，这主要面临两个关键问题： a)触发器和句子参数之间的长距离依赖关系；b)对文档中事件的分散上下文。为了解决这些问题，文章提出了一个双流抽象意义表示增强提取模型（TSAR）。TSAR通过双流编码模块从不同的角度对文档进行编码，利用局部和全局信息，降低分散上下文的影响。此外，TSAR还引入了一个由AMR引导的交互模块，基于局部和全局构建的AMR语义图，同时捕获句子内和句子间的特征。引入了一种辅助边界损失来显式地增强文本跨度的边界信息。大量的实验表明，TSAR在公共RAMS和WikeEvents数据集上分别提高了2.54的F1和5.13的F1，显示了在跨句子参数提取方面的优越性。代码在https://github.com/ PKUnlp-icler/TSAR上进行了发布。

一、引言

之前的文档级别的EAE(Event Argument Extraction)面临着两个关键挑战：

远距离依赖关系：触发器和参数之间的远程依赖关系。这些参数通常位于与触发词不同的不同句子中，它们的距离可能相当远。在图中，当触发器shipment在第2句中时，vehicle、origin、artifact和importor参数位于第1句或第3句中，这大大增加了提取的难度。为了适应长期提取，不仅句子内语义，而且句间语义都应该很好地建模。
分散的上下文：虽然文档自然包含的上下文比单个句子包含更多的上下文，但一些分散的上下文可能会误导参数提取。如图所示，origin参数U.S更容易被第4句识别，它不能为事件提供有用的信息。但包含了许多可能分散注意力的地方实体，比如Saudi Arabia、Russia和Iran。在丢弃分散注意力的信息的同时，精确定位有用的上下文仍然具有挑战性。

因此本文提出了一个文档级EAE的双流编码模块，它通过两个不同的角度对文档进行编码，以更好地利用上下文。

提出了一个文档级EAE的双流编码模块，它通过两个不同的角度对文档进行编码，以更好地利用上下文。
引入了一个AMR引导的交互模块，以促进文档中的语义交互，以便更好地捕获远程距离依赖。
我们的实验表明，TSAR在公共RAMS和Wiki事件数据集上分别有了2.54和5.13的F1值提高，特别是在跨句子事件参数提取方面。

二、方法

上图显示了TSAR模型的总体架构。文档被输入双流编码模块，然后是AMR-guided交互模块，以获得全局和局部上下文表示。信息融合模块融合了这些双流表示，分类模块最终预测了候选跨度的参数角色。

2.1 Two-Stream Encoding Module

虽然文档提供了更多的上下文，但它也不可避免地对事件引入了不相关的和分散注意力的信息。这些噪声信号可能对参数提取有害。为了捕获有用的信息和过滤分散注意力的信息，我们提出了一个双流编码模块，包括一个了解所有上下文的全局模块编码器（global encoder），以及只谨慎地关注最基本信息的本地编码器（local encoder）。因此，我们可以利用它们的互补优势来更好地利用上下文信息。

具体来说，全局编码器和本地编码器共享相同的基于Transformer的预训练语言模型，如BERT。通过控制自注意模块中单词的接收域，我们可以从不同的角度对文档进行编码。

在全局编码器中，注意力集中机制与传统的Transformer相同：

$Attention^G(Q,K,V) = softmax(\frac{QK^T}{\sqrt{d_m}})V$