Attention Is All You Need论文解读

最新推荐文章于 2023-12-12 17:33:08 发布
最新推荐文章于 2023-12-12 17:33:08 发布
阅读量457 收藏 2
点赞数
分类专栏： 自然语言处理 文章标签： 自然语言处理 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39574469/article/details/120167366
版权
本文深入探讨Transformer模型，它基于encoder-decoder架构，使用self-attention机制，避免了RNN的序列依赖问题。每个编码器层包含多头自注意力和前馈网络，解码器则在注意力机制中加入掩码以防止未来信息泄露。scaled dot-product attention是实现注意力的关键步骤，通过query、key和value的加权求和完成信息检索。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

1 Abstract、Introduction、Background

主要提了一下目前主流的技术和优缺点包括RNN、LSTM、GRU、encoder、decoder等，这里就不过多赘述了。

2 Model Architecture

首先看一下模型的整体结构，Transformer总体上遵循了encoder-decoder架构，编码器和解码器都使用了self-attention层、point-wise和全连接层，分别如下图的左右两部分所示。

在这里插入图片描述
接下来详细介绍一个各个模块。

2.1 Encoder

在这里插入图片描述

编码器是由6个相同的编码器层组成的。每个编码器层有两个子层。

  • 第一个子层是multi-head self-attention（多头自注意力层）
  • 第二个子层是feed-forward（前馈连接层）

同时在每个子层都加入了residual connection（残差网络）和 layer normalization层。因此每个子层的输出都是 L a y e r N o r m ( x + S u b l a y e r ( x ) ) LayerNorm(x+ Sublayer(x)) LayerNorm(x+Sublayer(x))，其中 S u b l a y e r ( x ) Sublayer(x) Sublayer(x)表示子层对输入 x x x做的映射。

为了方便残差连接，所有的模型中所有子层和embedding（词嵌入层）的维度都是512.

2.2 Decoder

在这里插入图片描述

解码器与编码器类似，也是由6个相同的解码器层组成的，但是要注意每个编码器层的子层和编码器会有区别。每个解码器层有三个子层。

  • 第一个子层在编码器层multi-head self-attention（多头自注意力层）上加入了mask（掩码张量），防止编码器看到未来的信息。
  • 第二个子层是multi-head self-attention（多头自注意力层），但是要注意这一层的输入一部分来自编码器，另一部分来自于上一个解码器层。
  • 第三个个子层是feed-forward（前馈连接层），和编码器类似。

其他没有提到的都和编码器类似。

2.3 Attention

attention计算可以描述为将一个query和一组key-value映射到output。
在这里插入图片描述

attention原理3步分解：

第一步： query 和 key 进行相似度计算，得到权值

第二步：将权值进行归一化，得到直接可用的权重

第三步：将权重和 value 进行加权求和

总体概况就是：带权求和

2.3.1 Scaled Dot-Product Attention

在这里插入图片描述

【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 1453
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
Attention Is All You Need 论文解读
泓源的博客
12-05 2660
self attention 是很多bert框架，或者说是transformer框架的共同点，它的提出颠覆了之前在进行“语言理解”任务中深度神经网络一定要使用CNN进行循环串行计算的弊端，取而代之的是全局并行注意力的计算。 首先，简单直观的实现一个self-attention（这部分参考参考https://towardsdatascience.com/illustrated-self-attention-2d627e33b20a一文） 以下为python实现： 最下层绿色的input为： input = [
Attention Is All You Need 论文研读
Mr_WangYC的博客
02-17 2056
《Attention Is All You Need》是2017年由Google提出的论文，论文重点描述了transformer结构及原理。transformer在机器翻译等众多NLP领域取得了很大的进步，这次学习《Attention Is All You Need目的是为了搞懂transformer，BERT预训练模型原理及细节。 论文链接：https://arxiv.org/abs/17...
bert之transformer（attention is all you need）
fkyyly的专栏
12-12 1574
Attention Is All You Need 自从Attention机制在提出之后，加入Attention的Seq2Seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型。传统的基于RNN的Seq2Seq模型难以处理长序列的句子，无法实现并行，并且面临对齐的问题。 所以之后这类模型的发展大多数从三个方面入手： input的方向性：...
论文解读:Attention Is All You Need
夏栀的博客
07-18 2123
论文解读：Attention Is All You Need论文解读：Attention Is All You Need全文摘要译文二、简要信息三、算法模型详解3.1 注意力机制3.2 Position-wise Feed-Forward Networks3.3 位置表征3.4 Transformer 论文解读：Attention Is All You Need   在深度学习领域，绝大多数是以神...
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 5374
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
attention is all you need论文解读
12-29
论文《Attention is All You Need》提出了一种全新的架构，名为Transformer。Transformer模型去除了传统序列模型中的循环神经网络（RNN）或卷积神经网络（CNN）的结构，完全依赖于注意力机制来捕捉序列内部各个位置...
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
Attention Is All You Need--Transformer论文解读
几度热忱的博客
01-11 648
Attention Is All You Need--Transformer论文解读，Transformer最初是应用于机器翻译这个任务，后来Transformer模型大火，逐渐应用于图片，视频等多个领域，本文将对提出的Transformer网络进行解读
论文理解-《Attention is all you need》
weixin_72914660的博客
11-03 428
transformer精讲
论文解读8——Attention Is All You Need
对流层的酱猪肘~的博客
07-13 960
提出了一个完全基于注意力机制的网络结构 transformer 来处理序列相关问题，跟以往不同，没有用到CNN和RNN的结构，将 encoder-decoder 中的循环层替换成了multi-head attention机制，且能够实现并行化操作提高模型效率。...
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
路人贾的博客
04-17 2万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
原创 | Attention is all you need 论文解析（附代码）
数据派THU
12-13 1349
作者：杨金珊审校：陈之炎 本文约4300字，建议阅读8分钟“Attention is all you need”一文在注意力机制的使用方面取得了很大的进步，对Transformer模型做出了重大改进。目前NLP任务中的最著名模型（例如GPT-2或BERT），均由几十个Transformer或它们的变体组成。背景减少顺序算力是扩展神经网络GPU、ByteNet和ConvS2S的基本目标，它们使用卷...
论文笔记-理解-Attention Is All You Need
tuzixini的博客
07-05 1097
论文:Attention Is All You Need 源码地址: 不是google的源码 https://github.com/bojone/attention/blob/master/attention_tf.py https://github.com/bojone/attention/blob/master/attention_keras.py 论文翻译: https://ww...
论文干货 |《Attention Is All You Need》
qq_45832461的博客
10-05 1868
史上最全面最详细的《Attention Is All You Need》论文阅读笔记，细致透彻地解读Transformer架构，图文并茂，让读者深入理解Transformer模型的原理！
《Attention is all you need》论文笔记
solejay
09-09 458
Abstract 一般来说，重要的 sequence transduction 模型都是基于包含 Encoder，Decoder 的复杂的 RNN 和 CNN 的。最好的模型是通过一个 attention 机制来连接 Encoder，Decoder。本文提出一种简单的架构——Transformer，只用注意力机制，和 CNN、RNN 没有关系。 在两个翻译任务实验证明该模型又快又好 WMT 2014 Englishto-German 翻译任务 BLEU 为 28.4，比当下 SOTA 高 2 用 8 个
Attention is all you need 论文记录
xumuteqiu的博客
09-06 598
摘要：传统的序列模型主要是由复合的RNN和CNN组成，包括encoder和decoder，目前性能最佳的模型使用的是encoder+decoder+attention的机制，这篇文章提供了一个简单的网络结构来实现基于attention的翻译模型，完全不使用CNN和RNN。通过对两个机器翻译任务的实验，实验结果表明，模型训练速度更快，效果比目前现存的实验结果要好。在WMT2014数据集上的BLEU的
The Illustrated Transformer【译】
热门推荐
yujianmin1990的专栏
12-23 9万+
前言 翻译一篇非常赞的解释Transformer的文章，原文链接。 在之前的文章中，Attention成了深度学习模型中无处不在的方法，它是种帮助提升NMT（Neural Machine Translation）的翻译效果的思想。在本篇博客中，我们解析下Transformer，该模型扩展Attention来加速训练，并且在Google的NMT中表现突出。然而，其最大的好处是可并行。实际上谷歌云...
Attention is all you need文献解读
最新发布
01-22
### 关于 'Attention is all you need' 的详细解读 #### Transformer 架构概述 Transformer 是一种基于自注意力机制的神经网络模型，旨在解决序列建模和转换任务中的长期依赖问题。该模型完全摒弃了传统的循环神经网络 (RNN) 和卷积神经网络 (CNN)，转而采用纯注意力机制来捕捉输入和输出之间的全局依赖关系[^1]。 #### 主要组成部分 ##### 编码器-解码器结构 编码器由多个相同的层堆叠而成，每一层包含两个子层：一个多头自注意力机制子层和一个全连接前馈网络子层。这些子层之间通过残差连接和层归一化操作相连。同样地，解码器也由类似的多层组成，但在每个多头自注意力机制之后还增加了一个额外的“编码器-解码器注意力建议”，用于关注来自编码器的信息。 ##### 多头自注意力机制 为了允许模型联合关注不同位置的不同表示子空间，在每个位置上并行运行 h 个独立的注意力函数。对于每一个这样的头部 i=1,...,h ，计算查询 Q_i、键 K_i 和值 V_i 后再加权求和得到最终输出 Z 。这种设计使得模型能够更有效地处理复杂的模式匹配任务。 ```python import torch.nn as nn class MultiHeadedSelfAttention(nn.Module): def __init__(self, d_model, num_heads): super().__init__() self.d_k = d_model // num_heads self.h = num_heads # 定义线性变换矩阵WQ,WK,WV self.linear_layers = clones(nn.Linear(d_model, d_model), 3) def forward(self, query, key, value, mask=None): batch_size = query.size(0) # 对query,key,value做线性变换，并拆分head维度 qkv = [l(x).view(batch_size, -1, self.h, self.d_k).transpose(1, 2) for l, x in zip(self.linear_layers, (query, key, value))] return attention(qkv[0], qkv[1], qkv[2], mask=mask)[0].transpose(1, 2).contiguous().view(batch_size, -1, self.h * self.d_k) ``` ##### 前馈全连接网络 紧跟在每个自注意力层后面的是一个简单的两层前馈神经网络（FFN），它应用于各个位置的数据点。这个模块在整个架构中起到了特征映射的作用，帮助提取更高层次上的抽象特性。 #### 工作流程解析 按照论文描述，整个过程可以分为三个主要阶段： 1. **嵌入与位置编码**: 输入序列被转化为固定长度向量并通过加入绝对位置信息来进行增强； 2. **编码器栈运算**: 经过 N 层相同配置的编码单元逐级传递直至最顶层； 3. **解码器预测生成**: 利用已知的目标侧上下文以及源端表征逐步构建目标序列。 #### 性能评估 实验结果显示即使不针对具体应用场景调整超参数设置，仅依靠通用框架本身就能取得优异的成绩——超越除 RNN-Grammar 模型外所有先前报道的方法[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值