Attention Is All You Need论文解读

最新推荐文章于 2025-06-19 11:50:35 发布
最新推荐文章于 2025-06-19 11:50:35 发布
阅读量461 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39574469/article/details/120167366
本文深入探讨Transformer模型，它基于encoder-decoder架构，使用self-attention机制，避免了RNN的序列依赖问题。每个编码器层包含多头自注意力和前馈网络，解码器则在注意力机制中加入掩码以防止未来信息泄露。scaled dot-product attention是实现注意力的关键步骤，通过query、key和value的加权求和完成信息检索。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1 Abstract、Introduction、Background

主要提了一下目前主流的技术和优缺点包括RNN、LSTM、GRU、encoder、decoder等，这里就不过多赘述了。

2 Model Architecture

首先看一下模型的整体结构，Transformer总体上遵循了encoder-decoder架构，编码器和解码器都使用了self-attention层、point-wise和全连接层，分别如下图的左右两部分所示。

在这里插入图片描述
接下来详细介绍一个各个模块。

2.1 Encoder

在这里插入图片描述

编码器是由6个相同的编码器层组成的。每个编码器层有两个子层。

  • 第一个子层是multi-head self-attention（多头自注意力层）
  • 第二个子层是feed-forward（前馈连接层）

同时在每个子层都加入了residual connection（残差网络）和 layer normalization层。因此每个子层的输出都是 L a y e r N o r m ( x + S u b l a y e r ( x ) ) LayerNorm(x+ Sublayer(x)) LayerNorm(x+Sublayer(x))，其中 S u b l a y e r ( x ) Sublayer(x) Sublayer(x)表示子层对输入 x x x做的映射。

为了方便残差连接，所有的模型中所有子层和embedding（词嵌入层）的维度都是512.

2.2 Decoder

在这里插入图片描述

解码器与编码器类似，也是由6个相同的解码器层组成的，但是要注意每个编码器层的子层和编码器会有区别。每个解码器层有三个子层。

  • 第一个子层在编码器层multi-head self-attention（多头自注意力层）上加入了mask（掩码张量），防止编码器看到未来的信息。
  • 第二个子层是multi-head self-attention（多头自注意力层），但是要注意这一层的输入一部分来自编码器，另一部分来自于上一个解码器层。
  • 第三个个子层是feed-forward（前馈连接层），和编码器类似。

其他没有提到的都和编码器类似。

2.3 Attention

attention计算可以描述为将一个query和一组key-value映射到output。
在这里插入图片描述

attention原理3步分解：

第一步： query 和 key 进行相似度计算，得到权值

第二步：将权值进行归一化，得到直接可用的权重

第三步：将权重和 value 进行加权求和

总体概况就是：带权求和

2.3.1 Scaled Dot-Product Attention

在这里插入图片描述

【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 2105
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
Attention Is All You Need 论文解读
泓源的博客
12-05 2669
self attention 是很多bert框架，或者说是transformer框架的共同点，它的提出颠覆了之前在进行“语言理解”任务中深度神经网络一定要使用CNN进行循环串行计算的弊端，取而代之的是全局并行注意力的计算。 首先，简单直观的实现一个self-attention（这部分参考参考https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a一文） 以下为python实现： 最下层绿色的input为： input = [
Attention Is All You Need 论文研读
Mr_WangYC的博客
02-17 2092
《Attention Is All You Need》是2017年由Google提出的论文，论文重点描述了transformer结构及原理。transformer在机器翻译等众多NLP领域取得了很大的进步，这次学习《Attention Is All You Need目的是为了搞懂transformer，BERT预训练模型原理及细节。 论文链接：https://arxiv.org/abs/17...
bert之transformer（attention is all you need）
fkyyly的专栏
12-12 1588
Attention Is All You Need 自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子，无法实现并行，并且面临对齐的问题。 所以之后这类模型的发展大多数从三个方面入手： input的方向性：...
论文解读:Attention Is All You Need
夏栀的博客
07-18 2143
论文解读：Attention Is All You Need论文解读：Attention Is All You Need全文摘要译文二、简要信息三、算法模型详解3.1 注意力机制3.2 Position-wise Feed-Forward Networks3.3 位置表征3.4 Transformer 论文解读：Attention Is All You Need   在深度学习领域，绝大多数是以神...
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 5658
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
attention is all you need论文解读
12-29
论文《Attention is All You Need》提出了一种全新的架构，名为Transformer。Transformer模型去除了传统序列模型中的循环神经网络（RNN）或卷积神经网络（CNN）的结构，完全依赖于注意力机制来捕捉序列内部各个位置...
Attention is all you need论文解读
最新发布
XD的博客
06-19 825
摘要（149字） Transformer是一种全新的序列转导模型架构，完全基于注意力机制，摒弃了传统的递归和卷积结构。该模型在机器翻译任务中表现优异：在WMT2014英德翻译任务上达到28.4 BLEU，超越此前最佳结果2个BLEU；在英法任务上仅用8GPU训练3.5天即获得41.8 BLEU的state-of-the-art成绩。实验证明Transformer具有更强的并行化能力、更短的训练时间，并能有效推广到其他NLP任务如英语句法分析。其创新性设计为序列建模提供了更高效的解决方案。
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
Attention Is All You Need--Transformer论文解读
几度热忱的博客
01-11 655
Attention Is All You Need--Transformer论文解读，Transformer最初是应用于机器翻译这个任务，后来Transformer模型大火，逐渐应用于图片，视频等多个领域，本文将对提出的Transformer网络进行解读
论文理解-《Attention is all you need》
weixin_72914660的博客
11-03 452
transformer精讲
论文解读8——Attention Is All You Need
对流层的酱猪肘~的博客
07-13 972
提出了一个完全基于注意力机制的网络结构 transformer 来处理序列相关问题，跟以往不同，没有用到CNN和RNN的结构，将 encoder-decoder 中的循环层替换成了multi-head attention机制，且能够实现并行化操作提高模型效率。...
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
热门推荐
路人贾的博客
04-17 3万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
原创 | Attention is all you need 论文解析（附代码）
数据派THU
12-13 1399
作者：杨金珊审校：陈之炎 本文约4300字，建议阅读8分钟“Attention is all you need”一文在注意力机制的使用方面取得了很大的进步，对Transformer模型做出了重大改进。目前NLP任务中的最著名模型（例如GPT-2或BERT），均由几十个Transformer或它们的变体组成。背景减少顺序算力是扩展神经网络GPU、ByteNet和ConvS2S的基本目标，它们使用卷...
论文笔记-理解-Attention Is All You Need
tuzixini的博客
07-05 1102
论文:Attention Is All You Need 源码地址: 不是google的源码 https://github.com/bojone/attention/blob/master/attention_tf.py https://github.com/bojone/attention/blob/master/attention_keras.py 论文翻译: https://ww...
论文干货 |《Attention Is All You Need》
qq_45832461的博客
10-05 1952
史上最全面最详细的《Attention Is All You Need》论文阅读笔记，细致透彻地解读Transformer架构，图文并茂，让读者深入理解Transformer模型的原理！
《Attention is all you need》论文笔记
solejay
09-09 473
Abstract 一般来说，重要的 sequence transduction 模型都是基于包含 Encoder，Decoder 的复杂的 RNN 和 CNN 的。最好的模型是通过一个 attention 机制来连接 Encoder，Decoder。本文提出一种简单的架构——Transformer，只用注意力机制，和 CNN、RNN 没有关系。 在两个翻译任务实验证明该模型又快又好 WMT 2014 Englishto-German 翻译任务 BLEU 为 28.4，比当下 SOTA 高 2 用 8 个
Attention is all you need 论文记录
xumuteqiu的博客
09-06 601
摘要：传统的序列模型主要是由复合的RNN和CNN组成，包括encoder和decoder，目前性能最佳的模型使用的是encoder+decoder+attention的机制，这篇文章提供了一个简单的网络结构来实现基于attention的翻译模型，完全不使用CNN和RNN。通过对两个机器翻译任务的实验，实验结果表明，模型训练速度更快，效果比目前现存的实验结果要好。在WMT2014数据集上的BLEU的
Attention is all you need文献解读
01-22
### 关于 'Attention is all you need' 的详细解读 #### Transformer 架构概述 Transformer 是一种基于自注意力机制的神经网络模型，旨在解决序列建模和转换任务中的长期依赖问题。该模型完全摒弃了传统的循环神经...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值