论文：Self-Attention with Relative Position Representations

最新推荐文章于 2023-11-15 15:51:09 发布
原创 最新推荐文章于 2023-11-15 15:51:09 发布 · 1.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了RNN和Transformer在处理序列数据时的不同机制。RNN通过隐状态编码序列信息，使得同一词汇在不同位置有不同的表示；而Transformer的自注意力机制使相同词汇在不同位置有相同表示。此外，还介绍了Transformer的自我注意力机制及其改进版——关系感知自我注意力机制，以及相对位置表示的概念。

动机

RNN的结构是通过隐状态对序列信息进行编码的。

第二个 I 的输出和第一个 I 的输出是不同的，这是因为输入到其中的隐状态是不同的。对于第二个 I 来说，隐状态经过了单词"I think therefore"，而第一个 I 是刚刚经过初始化的。因此，RNN的隐状态会使得处于不同位置的相同词具有不同的输出表示。恰恰相反的是，具有自注意力机制的Transformer（没有位置编码的）会使得不同位置的相同词具有相同的输出表示。

上图表示的是输入序列为"I think therefore I am"，然后传送到Transformer的的结果。

 

Self-Attention
 

其中，,  ，， d_{z}=d_{x}/h, h为注意力头数

 

Relation-aware Self-Attention

在普通self-attention的基础上，这篇文章引入了两个与相对位置相关的向量：,  d_{a}=d_{z}

如果attention的目标词是x_{i}的话，那么在计算x_{j}对x_{i}的注意力特征的时候，需要额外考虑x_{j}对x_{i}的两个与位置相关的向量。
引入这两个向量之后，上述self-attention的计算可以修改为：

 

Relative Position Representations

Relative Position Representations的目标是给出a_{ij}^{K}, a_{ij}^{V}的计算方式。作者假设如果序列中两个元素的距离超过k，则这两元素之间的位置信息就没有意义了。同时，a_{ij}^{K}, a_{ij}^{V}应该只跟相对位置有关，而与x_{i},x_{j}没有关系。作者直接将a_{ij}^{K}, a_{ij}^{V}定义为了可训练的向量，本质上是训练w^{K}=\left \{ w_{-k}^{K} , ... , w_{k}^{K} \right \}和w^{V}=\left \{ w_{-k}^{V} , ... , w_{k}^{V} \right \}：

相对位置编码之RPR式：《Self-Attention with Relative Position Representations》论文笔记
weixin_43646592的博客
11-30 3926
transformer-XL, XLNet的基础。相对位置编码之RPR式：《Self-Attention with Relative Position Representations》论文笔记
[论文笔记]Self-Attention with Relative Position Representations
日积月累，天道酬勤
08-17 308
本篇论文为Transformer建模了有限长度的相对位置信息，并可以共享到所有的序列。
【论文笔记】Self-Attention with Relative Position Representations
Luo_LA的博客
11-15 886
本文则是从Self-Attention机制内部出发，通过在计算过程中引入token之间的相对位置关系向量，打破了Self-Attention机制的Permutation-Invariant特性，从而更高效地完成了位置信息的编码，性能得到了提升。本文扩展自注意力以考虑输入元素之间的成对关系，从这个意义上讲，就是将输入建模为标记的(labeled)，有向的( directed)，完全连接的图( fully-connected graph)。的表示，将输入元素之间的edge表示为。个唯一的edge标签。
论文阅读——Self-Attention with Relative Position Representations
qq_43658933的博客
03-17 3039
Self-Attention with Relative Position Representations Abstract 2017年Vaswani等人提出的Transformer需要在输入中添加绝对位置表示。作者在这篇文章中提出将元素与元素之间的相对位置表示引入了self-attention机制，在两个机器翻译（WMT 2014 EN-DE and EN-FR）的任务中，引入相对位置表示的self-attention比绝对位置编码的self-attention有明显的提升。但相对与绝对结合并不会进一步提
《Self-Attention with Relative Position Representations》论文笔记
热爱永不过时！
11-10 796
一、摘要 在传统transformer中，无法像循环神经网络和卷积神经网络一样加入相对位置信息和绝对位置信息。这使transformer模型缺少很重要一部分信息。 本文提出在==自注意力机制中加入相对位置信息，用来表征序列中元素的距离关系==。 同时，本文发现融合相对位置和绝对位置信息对模型在翻译任务中的质量没有提高。 二、介绍 在注意力模型架构中，要加入位置信息，通常会使用position encoding或者基于距离的偏置注意力权重。 在机器翻译中，作者尝试完全移除绝对位置编码，并加入相对位置编码
Self-Attention with Relative Position Representations 解读
weixin_41089007的博客
06-11 6771
原文地址：https://www.jianshu.com/p/cb5b2d967e90 论文链接：Self-Attention with Relative Position Representations 非递归的模型（attention，CNN等）并没有考虑输入序列中元素的顺序，因此在很多任务中可能需要显式地编码位置信息。这篇文章将元素与元素之间的相对位置表示引入了self-attentio...
Self-Attention with Relative Position Representations（2018）
GY-赵的博客
05-11 757
transformer与递归和卷积神经网络不同，它不显式地对其结构中的相对或绝对位置信息进行建模在这项工作中，本文提出了另一种方法，扩展自我注意机制，以有效地考虑相对位置的表示，或序列元素之间的距离。 在这项工作中，我们提出了一种将相对位置表征结合到transformer self-attention中的有效方法。即使完全替换其绝对位置编码，我们也在两个机器翻译任务上证明了翻译质量的显著提高。 主要对相对位置编码做了一个扩展，attention中在第一层之前，将基于变化频率的正弦的位置编码与编码器和解码器.
[论文阅读]Self-Attention with Relative Position Representations
ZY_miao的博客
01-19 801
文章目录前言摘要1、Introduction & Motivation2、How to do ?3、Experiments Analysis总结 前言 论文名：Self-Attention with Relative Position Representations 论文作者：Peter Shaw et.al. 机构： Google Brain & Google 期刊/会议名：NAACL 2018 本文作者：XMU_MIAO 日期：2021/1/18 摘要    1、Introduc
2018-Self-Attention with Relative Position Representations
小毛激励我好好学习的博客
05-21 1273
文章目录1. Title2. Summary3. Problem Statement4. Method(s)4.1 Relation-aware Self-Attention4.2 Relative Position Representation4.3 Efficient Implementation5. Evaluation6. Conclusion 1. Title Self-Attention with Relative Position Representations https://github.
Self-Attention with Relative Position Representations
//Katniss的征程
11-15 859
Hi，这是第四篇算法简介呀！ 论文链接：Self-Attention with Relative Position Representations，2018 文章概述   Vaswani等人提出了只用注意力机制的Transformer，没有显式地建立相对位置或绝对位置信息的模型。这篇文章提出了一种有效地将相对位置表示纳入Transformer的Self-Attention中的方法。   在Tran...
【阅读笔记】《Self-attention with relative position representations》
yetzirah的博客
09-09 407
论文《Self-attention with relative position representations》的阅读笔记
论文阅读笔记：Self-Attention with Relative Position Representations
BoCong-Deng的博客
10-24 4979
了解Transformer的都知道，与递归和卷积神经网络相反，它没有在其结构中显式地建模相对或绝对位置信息，而是它需要在其输入中添加绝对位置的表示，这是一种完全依赖于注意力机制的方法。在本篇论文中，提出了一种替代方法，扩展了自注意机制，可以有效地考虑相对位置或序列元素之间距离的表示。本文描述了该方法的有效实现，并将其转换为可感知到任意图标记输入的相对位置感知自注意力机制的实例，即提出了一种将相对位置表示形式并入Transformer自注意机制的有效方法，残差连接有助于将位置信息传播到更高的层。
【Transformer】Self-Attention with Relative Position Representations及实现pytorch代码
qq_40731332的博客
03-09 2058
在Transformer中加入可训练的embedding编码，使得output representation可以表征inputs的时序/位置信息。这些embedding vectors在计算输入序列中的任意两个单词i,j之间的key和value是被加入其中。embedding vector用于表示单词i，j之间的距离，因此命名为“相对位置表征”（Relative Postiion Representation）。 Self-Attention 输入序列xi经过Self-Attention之后输...
Self-Attention with Relative Position Representations阅读笔记
weixin_44378920的博客
04-01 573
一句话概括：在Transformer模型中加入相对位置表示，可以提升翻译结果的质量。 Transformer：采用encoder-decoder框架 encoder里面有多层，每一层包括两个子层 self-attention 和 FFN（a position-wise feed-forward layer），子层之间通过 layer normalization 连接，层与层之间通过 residual 连接。 decoder里面同样可以定义多层。每一层包括三个子层 self-attention 、e
How Self-Attention with Relative Position Representations works
herosunly的博客
05-15 2236
  本文的主要内容是基于相对位置表示的自注意力机制是如何工作的。 1. 引论   本篇文章是基于 Self-Attention with Relative Position Representations(https://arxiv.org/pdf/1803.02155.pdf)，它提出了一种对Transformer的输入序列中的位置编码的替代方法。它改变了Transformer的自注意力机制，从......
2-26-Self-Attention with Relative Position Representations
qq_40723205的博客
02-06 292
原文链接 ： https://dengbocong.blog.youkuaiyun.com/article/details/107939242 Transformer与递归和卷积神经网络相反，它没有在其结构中显式地建模相对或绝对位置信息，而是它需要在其输入中添加绝对位置的表示，这是一种完全依赖于注意力机制的方法。 本文提出了一种将相对位置表示形式并入Transformer自注意机制的有效方法，残差连接有助于将位置信息传播到更高的层。 循环神经网络（RNN）通常根据时间 t 的输入和先前的隐藏状态 计算隐藏...
文献阅读：Self-Attention with Relative Position Representations
weixin_42145837的博客
03-30 1036
文献阅读：Self-Attention with Relative Position Representations 论文地址 1：简介 跟RNN和CNN使用相对位置编码或绝对位置编码相比， transformer使用绝对位置编码在输入端。 本文探究在模型中引入相对位置编码， 具体而言，是在模型的注意力机制中，融入相对位置信息 2： 方法 transformer的注意力机制 对他的改进： 3：相对位置表示 对于transformer的每一层，在multihead_attn中添加 relative
文本生成（二）【NLP论文复现】Relative position representations 相对位置编码突破Bert的文本长度限制！
weixin_45839693的博客
01-23 3601
NEZHA 相对位置编码突破Bert文本512长度的限制前言NEZHAHow to build UniLMGet 2D MASKSend 2D MASK to Bert使用UniLM实现新闻标题生成数据处理部分（略）模型训练技巧1:用自定义损失层来代替损失函数技巧2: 结合Embedding信息输出预测文本模型推理技巧3: BeamSearch解码精简你的词汇表技巧4: 精简你的词汇表，让你的模型收敛更快测试结果参考资料代码地址 前言 论文原文：NEZHA: NEURAL CONTEXTUALIZED .
Attention机制的小理解
热门推荐
笔记杂谈
08-31 1万+
1.传统的encode-decode模型      输入序列：      输出序列：      中间语义变量     所以对于，也就是                这就表明输入序列的每一个元素对于输出序列的每一个元素的作用是等价的，这显然是不合理的。比如机器翻译中，中文“我爱你”，对应英语中“I love you”。其中“我”对于“I”和“love”的翻译作用力显然不同。为了解决...
self-attention with relative position representations
03-16
自注意力机制与相对位置表示。自注意力机制是一种用于处理序列数据的机制，它可以在不同位置上对序列中的元素进行加权聚合，以获得更好的表示。相对位置表示是一种用于表示序列中元素之间相对位置的方法，它可以帮助模型更好地捕捉序列中元素之间的关系。将自注意力机制与相对位置表示结合起来，可以进一步提高模型在序列数据上的性能。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值