A Deep Reinforced Model for Abstractive Summarization

本文介绍了一篇由Salesforce研究所发表的论文,该论文探讨了使用深度强化学习来解决自动文本摘要中的问题。研究提出了一种结合改进注意力机制和强化学习的Seq2Seq模型,旨在提高摘要的连贯性和准确性。通过引入Intra-temporal和Intra-decoder注意力机制,以及使用强化学习来优化ROUGE指标,模型在CNN/Daily Mail和New York Times数据集上实现了新的最佳结果。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

A Deep Reinforced Model for Abstractive Summarization

Romain Paulus, Caiming Xiong, and Richard Socher. 2017.A Deep Reinforced Model for Abstractive Summarization

官方博客介绍

Introduction

本周读的是Salesforce研究发表的关于自动文本摘要的论文,自动文本摘要主要分成抽取式和生成式,抽取式主要是从原文中找到和主题相关的句子或短语,然后组合成摘要,有点类似“复制粘贴”的模式;而生成式主要是在理解了原文的基础上,对原文进行抽象,然后用语义相近的词或者不同表述方法进行文本摘要,更符合人类的形式。但是长文本生成摘要过程中,经常出现不连贯不相关内容、重复语句等问题,基于这些问题,论文中使用了很多trick,包括融合了改进的attention机制和强化学习的训练方法,结果在CNN/Daily Mail、New York Times数据集上达到了新的state-of-the-art。

Model

论文的主要框架还是Seq2Seq,输入是原文文本,输出是文本摘要,encoder采用bi-LSTM,decoder采用单层LSTM。
这里写图片描述

  • A new Attention and Decoding Mechanism

    文中使用了两套attention机制,Intra-temporal attention和Intra-decoder attention。前者是作用在encoder中上的,对input中每个词计算权重,这样能使生成的内容信息覆盖原文。后者是作用在decoder上的,对已经生成的词也计算权重,这样能够避免生成重复的内容。然后两者拼接起来进行decode生成下一个词。如下图所示:

    这里写图片描述

    在计算Intra-temporal attention权重的过程中,论文采用了一种方法对input中获得较高权重的词进行惩罚,以防后面decode过程中再次赋予该词高权重。计算公式如下,decoder的Intra-decoder attention权重计算则少了以下第二个公式。

    eti=hdtTWeattnhei

eti=exp(eti)exp(eti)
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值