Self-Attention Guided Copy Mechanism for Abstractive Summarization---ACL 2020

最新推荐文章于 2024-10-11 07:28:19 发布
原创 最新推荐文章于 2024-10-11 07:28:19 发布 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理

该论文提出了一种自注意力引导的复制机制，用于文本摘要。通过Transformer模型计算源句单词的中心度，改进复制分布，提升摘要效果。在CNN/DM数据集上达到SOTA。

仅仅是记录一下最近阅读的论文，前段时间也没怎么记录，有些论文看过也忘记了！

这篇论文是文本摘要CNN/DM数据集上达到了SOTA的效果，发表于ACL 2020.

按照文章整体脉络整理信息，细节内容后面看有时间在仔细阅读整理一下吧。

论文链接：Self-Attention Guided Copy Mechanism for Abstractive Summarization

ps. 没找到论文源码，所以具体实现细节还有待了解，顺便蹲个论文源码链接。

1. 论文提出背景

复制模块是最近抽象式摘要模型里面广泛使用的模块，这个模块使得decoder可以从源文档中提取单词作为摘要。通常来说，encoder-decoder注意力分数作为复制分布，然而如何保证源句中的重要单词被复制仍然是一个主要的挑战。

本文主要需要解决的问题就是如何更加合理的确定源句中单词的copy distribution。复制分布就是源句中每个单词每个时间刻的概率分布大小。本文采用的基础模型还是指向生成器网络，看论文后面的内容也可以看出来，文中也计算了Pgen和Pvocab的概率。

2. 本文主要贡献

  • 本文提出了基于文本摘要源句单词的中心度为指向的复制机制，中心度的获取通过入度和出度计算来度量。
  • 本文提出了中心度感知（ centrality-aware）的注意力，并且提出了一个以损失为导向的模型，使得模型可以对源句中重要的单词有更多的关注。
  • 本文在公开的文本摘要数据集上达到了S
最低0.47元/天 解锁文章
NLP-生成模型-2017-Transfomer（三）：基本测试【copy任务】【方式：①自定义构建Transformer模型、②使用Transformer官方组件构建】
u013250861的博客
05-03 1056
一、Transfomer模型基本测试【copy任务】 # copy任务：任务描述: 针对数字序列进行学习, 学习的最终目标是使输出与输入的序列相同. 如输入[1, 5, 8, 9, 3], 输出也是[1, 5, 8, 9, 3]. # 任务意义: copy任务在模型基础测试中具有重要意义，因为copy操作对于模型来讲是一条明显规律, 因此模型能否在短时间内，小数据集中学会它，可以帮助我们断定模型所有过程是否正常，是否已具备基本学习能力. # 1 第一步: 数据集生成器 # 1.1 构建数据集生成器 def
大模型笔记4 长文本滑动窗口
越开源越幸运
08-01 1748
滑动窗口例子(提取开始结束点任务) 滑动窗口代码实现 tokenize() 默认添加问题 每个滑窗添加标题和摘要 训练label跨滑窗情况token匹配 Token匹配忽略固定标题摘要 输出结果拼接 根据样本论文标号拼接预测结果 滑窗重复token位置处理
Self-Attention Guided Copy Mechanism for Abstractive Summarization
m0_64165343的博客
04-12 343
中文标题：基于自注意力导向复制机制的生成式摘要 论文链接：https://aclanthology.org/2020.acl-main.125.pdf 发表：ACL 2020 组织：京东
【略解】copy机制与SpanPtr
weixin_44385551的博客
02-16 3107
一、概述 背景：学习多领域多轮问答DST模型TRADE，发现其中一个技术点copy机制，对其调研如下： 1.1 Copy机制相关论文 No. 标题 简介 1 Vinyals et al., 2015 《Pointer networks》 Pointer network；index-based copy；copy机制起源 2 Gulcehre et al., 2016《Point...
[ACL2016] Incorporating Copying Mechanism in Sequence-to-Sequence Learning
Deep Learning and NLP Farm
08-10 2403
目前在自然语言处理的很多任务中，比如机器翻译、句法分析、自动文摘以及对话系统等领域，sequence-to-sequence 已经取得了瞩目的成就。简单说下sequence-to-sequence, 也称为seq2seq 由两个RNN组成：处理输入的编码器网络和生成输出的解码器网络. 所以也称之为encoder-decoder model. paper 提出了一种”copying mechanis
深度学习--复制机制
GDHBFTGGG的博客
08-25 1337
复制机制（Copy Mechanism） 是自然语言处理（NLP）中特别是在文本生成任务中（如机器翻译、摘要生成等）使用的一种技术。它允许模型在生成输出时不仅仅依赖于其词汇表中的单词，还可以从输入文本中“复制”单词到输出文本中。这种机制非常有用，尤其是在处理未见过的词汇或专有名词时。
精选资源
Multi-scale self-guided attention for medical image segmentation.pdf
05-24
在医疗影像分割领域，多尺度自引导注意力模型是一种较为新颖的深度学习架构，它克服了传统卷积神经网络（CNNs）的一些局限性，并且能够提高模型对医学图像的语义分割准确性。本文将详细解释多尺度自引导注意力在医疗...
2019-ACL-Attention Guided Graph Convolutional Networks for Relat
08-08
2019年ACL会议上发表的论文“Attention Guided Graph Convolutional Networks for Relation Extraction”提出了一个新的方法，即注意力机制引导的图卷积网络（Attention Guided Graph Convolutional Networks, ...
ICAFusion: Iterative Cross-Attention Guided Feature Fusion for Multispectral Object Detection
qq_41833478的博客
10-07 2764
ICAFusion论文精读
【论文阅读ACL2020】Leveraging Graph to Improve Abstractive Multi-Document Summarization
敲代码的乔帮主
06-16 2845
题目：Leveraging Graph to Improve Abstractive Multi-Document Summarization （基于图表示的生成式多文档摘要方法 ） 会议：ACL2020 论文地址：https://arxiv.org/abs/2005.10043 其他：出自百度NLP小组工作 这个是百度 NLP 小组在 ACL2020 上面的一篇工作，当前多文档摘要应用场景和需求也越来越多，接下来我将就论文主要内容做介绍。 目录 1.多文档摘要 2...
Abstractive Summarization
weixin_30561177的博客
07-25 1422
Sequence-to-sequence Framework A Neural Attention Model for Abstractive Sentence Summarization Alexander M. Rush et al., Facebook AI Research/Harvard EMNLP2015 sentence level seq2seq模型在2014年提出，这篇论文是...
【对话系统】Copy Mechanism的分类及其在对话系统中的应用
veronachiu的博客
05-13 2896
前言 在自然语言处理和对话系统论文中经常会用到复制机制Copy Mechanism，对Copy Mechanism机制进行阐述。参考博文【略解】copy机制与SpanPtr Copy Mechanism& Index-based copy Copy Mechanism指在文本生成领域，生成的输出是输入序列元素的复制或者指向。该机制最早由Vinyals et al.（2015）在Pointer Network中提出，所以有时也被称为Pointer Mechanism指针机制。Pointer Netwo
Efficient summarization with read-again and copy mechanism
Forlogenの解忧杂货铺
07-16 493
论文：Efficient summarization with read-again and copy mechanism 来自：ICLR2017 论文属于NLP的文本摘要任务，采用的是生成式摘要。本文提出了目前生成式摘要所流行的基于attention的seq2seq模型所存在的两个问题： encoder的过程中在计算每一个词的向量表示或者隐层状态时仅仅考虑了该词之前的一些词，导致了次优化； U...
【论文阅读】Generating Natural Answers by Incorporating Copying and Retrieving Mechanisms in Sequence-to-S
独钓寒江雪
07-08 2244
采用拷贝与检索机制在序列预测的模型中生成自然语言的问题答案为了生成自然语言答案，现有的方法通常利用一些了的NLP tools与归纳模板，这种方式覆盖度低，难以应对丰富的语言现象，文章将问答看做端到端的学习问题，在应对问答时，通过分析问题、在知识库中检索来生成连贯的正确地答案。在解码阶段，不同于机器翻译，预测词并非都来自设定好的词表，而是分别来自词表、问题本身以及知识库，通过在网络中结合问句与知识库的
文本摘要（text summarization）任务：研究范式，重要模型，评估指标（持续更新ing...）
诸神缄默不语的博客
02-23 9898
本文是作者在学习文本摘要任务的过程中，根据学习资料总结逐步得到并整理为成文的相关内容。
【亲测免费】 Self-Attention-Guidance 项目使用教程
gitblog_01149的博客
10-11 998
Self-Attention-Guidance 项目使用教程 1. 项目介绍 Self-Attention-Guidance 是一个开源项目，旨在通过自注意力机制来提升扩散模型的样本质量。该项目基于论文 "Improving Sample Quality of Diffusion Models Using Self-Attention Guidance" (ICCV`23) 实...
transformer下
Claire的博客
01-01 455
针对数字序列进行学习，学习的最终目标时使输出与输入的序列相同，如输入p。
Part-Guided Attention with Gated Fusion for Vehicle Re-Identification
最新发布
11-13
基于门控融合的部分引导注意力机制在车辆重识别（Part - Guided Attention with Gated Fusion in Vehicle Re - Identification）是车辆重识别领域的一种技术。 在车辆重识别任务中，需要准确地判断不同图像中的车辆是否为同一辆车。部分引导注意力机制可以聚焦于车辆的不同关键部分，例如车头、车身、车尾等。通过这种方式，模型能够更好地捕捉车辆各个部分的特征，避免被一些无关信息干扰。 而门控融合则是一种将不同特征或信息进行有效整合的技术。在车辆重识别中，可能会有来自不同部分的特征，门控融合机制可以根据不同部分特征的重要性，动态地决定如何将这些特征融合在一起，从而提高最终特征表示的质量和区分度。 以下是一个简单的伪代码示例，展示这种机制的大致实现思路： ```python import torch import torch.nn as nn # 定义部分引导注意力模块 class PartGuidedAttention(nn.Module): def __init__(self, in_channels): super(PartGuidedAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.fc = nn.Sequential( nn.Linear(in_channels, in_channels // 16, bias=False), nn.ReLU(inplace=True), nn.Linear(in_channels // 16, in_channels, bias=False), nn.Sigmoid() ) def forward(self, x): b, c, _, _ = x.size() y = self.avg_pool(x).view(b, c) y = self.fc(y).view(b, c, 1, 1) return x * y.expand_as(x) # 定义门控融合模块 class GatedFusion(nn.Module): def __init__(self, in_channels): super(GatedFusion, self).__init__() self.gate = nn.Sigmoid() def forward(self, part_features): # 假设 part_features 是一个包含多个部分特征的列表 num_parts = len(part_features) gates = [] for i in range(num_parts): gate = self.gate(part_features[i]) gates.append(gate) fused_feature = sum([gate * part_features[i] for i, gate in enumerate(gates)]) return fused_feature # 示例使用 in_channels = 256 part_guided_attention = PartGuidedAttention(in_channels) gated_fusion = GatedFusion(in_channels) # 模拟输入 x = torch.randn(16, in_channels, 32, 32) part_features = [part_guided_attention(x) for _ in range(3)] # 假设有3个部分 fused_feature = gated_fusion(part_features) print(fused_feature.shape) ```
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值