基于相对位置的自注意力机制------论文研读总结

最新推荐文章于 2024-09-08 23:45:20 发布
最新推荐文章于 2024-09-08 23:45:20 发布
阅读量1.1k 收藏 7
点赞数 29
分类专栏： paper 文章标签： 深度学习 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_73629042/article/details/136814607
版权
本文探讨了Transformer模型在处理序列位置信息时的不足，提出相对位置编码方法，通过实验在WMT2014机器翻译任务中展示了性能提升。研究者扩展了Attention机制，考虑元素间的相对位置，改善了GPU处理效率，提高了BLEU评分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

目录

论文简介与作者

背景（以往缺点与不足）

Transformer模型

缺点

新方法

符号定义与公式

Attention的扩展

相对位置表示法

实验

实验装置

实验数据集

WMT 2014机器翻译任务

GPU处理

实验结果

模型推广

个人总结

备注

论文简介与作者

背景（以往缺点与不足）

不同学者使用不同的方式合并关于元素的顺序位置的信息。

  1. 卷积神经网络固有地捕获每个卷积的内核大小内的相对位置。
  2. RNN在计算隐藏状态ht时，结合其在时间t的输入和先前隐藏状态ht-1的函数直接通过其序列结构捕获沿时间维度沿着的相对和绝对位置。
Transformer模型

既不使用卷积也不使用递归,位置编码，将每个位置用一个向量来表示，然后与元素对应的词向量相加来使得模型可以感知元素地位置信息。

缺点
  1. 没有显式对相对位置建模。
  2. 不一定顺序地考虑输入元素，需要显式地编码位置信息以能够使用序列顺序。

新方法

  1. 提出相对位置编码（Relation-aware）:  考虑任意两个元素之间的输入。
  2. 扩展Self-attention机制:  扩展的自注意力机制的Transformer考虑任意两个元素之间的输入

符号定义与公式

Attention的扩展

最低0.47元/天 解锁文章
论文阅读-Attention Is All You Need阅读报告-机器翻译
一位不是很硕的鉴伪方向硕士
01-28 1595
1 Introduction 本文是2017年底谷歌大脑发表的文章，针对自然语言处理领域的经典问题-机器翻译，提出了一个只基于attention的结构来处理序列模型相关的问题，该模型被称为“Transformer”。文中提到，主流的序列转换模型都是基于复杂的循环神经网络（RNN）或卷积神经网络（CNN），且都包含一个encoder和一个decoder。RNN及其衍生网络的缺点就是慢，问题在于前后隐藏状态的依赖性，无法实现并行。截至“Transformer”提出前，表现最好的机器翻译模型是通过at...
DeBERTa讲解
weixin_42931934的博客
11-07 820
DeBERTa表明BERT中的时序关系还是太弱了，需要增强。
自注意力机制中的相对位置表示
wuyuanli_r的博客
12-24 979
Peter Shaw, Jakob Uszkoreit, and Ashish Vaswani. 2018. Self-Attention with Relative Position Representations. In Proceedings of HLT-NAACL. New Orleans, Louisiana, 464–468. https://doi.org/10.18653/v1/N18-2074\url{https://doi.org/10.18653/v1/N18-2074}https:
动手学深度学习（四十九）——自注意力机制与位置编码
Liu Feng's Blog
02-19 4442
文章目录一、自注意力1. 自注意力2. 自注意力简单定义和使用3. 比较CNN、RNN和Self-Attetion3.1 CNN和self-attention3.2 RNN和self-attention二、位置编码绝对位置信息相对位置信息小结 一、自注意力   在深度学习中，我们经常使用卷积神经网络（CNN）或循环神经网络（RNN）对序列进行编码。现在想象一下，有了注意力机制之后，我们将标记序列输入注意力池化中，以便同一组标记同时充当查询、键和值。具体来说，每个查询都会关注所有的“键－值”对并生成一个注意力
带相对位置表示的自注意力（201803）
最新发布
真诚的灰灰的博客
09-08 4417
完全依赖于注意力机制，Vaswani 等人在 2017 年引入的在机器翻译方面取得了最先进的成果。与循环和卷积神经网络不同，它在其结构中没有明确地模拟相对或绝对位置信息。相反，它需要在其输入中添加绝对位置的表示。在这项工作中，我们提出了一种替代方法将自注意力机制扩展到有效地考虑序列元素之间相对位置或距离的表示。在 WMT 2014 英语到德语和英语到法语的翻译任务中，这种方法分别比绝对位置表示提高了 1.3 BLEU 和 0.3 BLEU。
Attention注意力机制
weixin_43252798的博客
09-30 538
Attention原理 Attention的原理就是计算当前输入序列与输出向量的匹配程度，匹配度高也就是注意力集中点，其相对的得分也越高。其中Attention计算得到的匹配度权重，只限于当前序列对。 算法过程 1，encode对输入序列编码得到最后一个时间步的状态c和每一时间步的输出h，其中c又作为decode的初始状态z0。 2，对于每个时间步的h和z0做匹配，也就是match操作，得到每个时...
注意力机制(Attention Mechanism)
John's Blogs
06-25 3万+
目录概述自注意力（self-attention）NLPCV软注意力（soft-attention）通道注意力Non-Local位置注意力（position-wise attention）混合域模型(融合空间域和通道域注意力) 概述 计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让模型学会注意力——能够忽略无关噪声信息而关注重点信息。 自注意力（self-attention） NLP 论文链接：Attention Is All You Need 代码来源：Th
【论文研读总结】基于结构位置的自注意力机制
m0_73629042的博客
03-22 2009
一句话简介SANs（Self Attention Networks, 自注意网络）+结构编码策略输入：X＝查询其中为可训练参数输出其中，为点积注意力模型（顺序位置编码）关于序列中元素的绝对或相对位置的信息注入SAN绝对序列PE：，其中abs是序列中的绝对位置，i是位置表示的维数。f（·）是偶数维的sin（·），是奇数维的cos（·）。相对顺序PE：，其中rel是查询词的相对位置，用于索引表示相对位置嵌入的可学习矩阵R。结构位置表述（采用树结构表示）
NLP经典论文研读--xlnet论文研读笔记
zhilanguifang的博客
06-27 821
xlnet论文阅读笔记
论文研读-图可视化-NetV.js:Web端可视化工具库
weixin_43413013的博客
03-09 1119
NetV.js：一个基于网络的用于大规模图和网络的高效可视化的库1 论文概述1.1 文章摘要1.2 引言1.3 文章脉络2 相关工作3 设计3.1 设计要求3.2 设计细节3.2.1 图模型管理器3.2.2 渲染引擎3.2.3 交互管理器3.2.4 布局插件3.2.5 标签插件3.2.6 选择插件4 使用案例4.1 基本图形绘制4.2自定义风格4.3 交互4.4 插件4.5 大规模的图5 实验6 结论7 NetV.js使用8 收获 1 论文概述 2021年发表在Visual Informatics上的文章，
PyTorch中相对位置自注意力的实现细节
画心
06-07 1639
PyTorch中相对位置自注意力的实现细节 原始文档：https://www.yuque.com/lart/ugkv9f/oazsec 文章目录PyTorch中相对位置自注意力的实现细节参考前言代码分析提前的思考背后的动机对应的流程 参考 AI SUMMER这篇文章写的很好，很直观，很清晰：https://theaisummer.com/positional-embeddings/ 前言 这里讨论的相对位置编码的实现策略来自于Music Transformer。 这里有一篇介绍性的文章：https:
对 Transformer 中位置编码 Position Encoding 的理解
BIT_Legend的博客
03-26 2134
位置编码 | PositionEncoding | Sinusoidal 位置编码 | RoPE 位置编码 | ALiBi 位置编码
深度学习之注意力机制（Attention Mechanism）和Seq2Seq
weixin_30485291的博客
04-15 6306
这篇文章整理有关注意力机制（Attention Mechanism ）的知识，主要涉及以下几点内容： 1、注意力机制是为了解决什么问题而提出来的？ 2、软性注意力机制的数学原理； 3、软性注意力机制、Encoder-Decoder框架与Seq2Seq 4、自注意力模型的原理。 一、注意力机制可以解决什么问题？ 神经网络中的注意力机制（Attention Mechanis...
All Attention You Need
Datawhale
11-24 631
点击上方“Datawhale”，选择“星标”公众号第一时间获取价值内容Attention的产生起因：《Sequence to Sequence Learning with...
自注意力机制中的位置编码
步入人工智能
05-26 3158
本内容主要介绍自注意力（Self-Attention）机制中的位置编码。
深度学习中的注意力机制
热门推荐
优快云大数据
11-02 13万+
作者 | 张俊林 责编 | 何永灿 最近两年，注意力模型（Attention Model）被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中，是深度学习技术中最值得关注与深入了解的核心技术之一。 本文以机器翻译为例，深入浅出地介绍了深度学习中注意力机制的原理及关键计算机制，同时也抽象出其本质思想，并介绍了注意力模型在图像及语音等领域的典型应
注意力机制基本原理详解及应用
sophicchen的专栏
08-10 3万+
注意力模型最近几年在深度学习各个领域被广泛使用，无论是图像处理、语音识别还是自然语言处理的各种不同类型的任务中，都很容易遇到注意力模型的身影。所以，了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。 1. 人类的视觉注意力 从注意力模型的命名方式看，很明显其借鉴了人类的注意力机制，因此，我们首先简单介绍人类视觉的选择性注意力机制。 图1 人类的视觉注意力 视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般
Transformer、多头注意力机制学习笔记：Attention is All You Need.
zcsdn1996的博客
10-22 1万+
文章目录 相关参考连接： https://blog.youkuaiyun.com/hpulfc/article/details/80448570 https://blog.youkuaiyun.com/weixin_42398658/article/details/90804173 https://blog.youkuaiyun.com/jesseyule/article/details/101633159 论文讲解： https://www.jianshu.com/p/25fc600de9fb https:..
注意力机制的基本思想和实现原理（很详细）(第二篇)
这里是标题
05-25 5万+
接上一篇：https://blog.youkuaiyun.com/hpulfc/article/details/80448570作者：张俊林链接：https://www.zhihu.com/question/68482809/answer/264632289来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。上述内容就是经典的Soft Attention模型的基本思想，那么怎么理解A...
CVPR2016论文Auto-Context人体姿态估计源码发布
- **cvpr16论文基于auto-context的pose estimation的源码**：这里提到的是2016年CVPR会议上发表的关于姿态估计的论文，该论文采用了auto-context方法。姿态估计是计算机视觉中的一个基础问题，旨在确定图像中人物或...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值