Attention is all you need（Transformer）论文阅读笔记

最新推荐文章于 2024-12-25 10:53:29 发布
最新推荐文章于 2024-12-25 10:53:29 发布
阅读量381 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 论文阅读笔记 文章标签： 自然语言处理 人工智能 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zyk9916/article/details/118573538
本文深入解析Transformer模型，重点讨论多头自注意力机制、Masked Multi-Head self-Attention和Encoder-Decoder Attention，阐述如何利用注意力机制实现序列建模和转换任务的高效并行计算。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、背景

seq2seq模型（2014年）：https://blog.youkuaiyun.com/zyk9916/article/details/118002934

Attention模型（2015年）：https://blog.youkuaiyun.com/zyk9916/article/details/118498156

对于序列建模和转换问题，大量的研究都围绕以RNN为基础的encoder-decoder架构展开。

但是，RNN是一种时序模型，存在固有的顺序性。无论是在encoder还是decoder中，都需要获得上一个时刻的隐状态才能计算下一个时刻的隐状态。这严重阻碍了训练示例中的并行化。

本文提出了Transformer模型架构，它避免了递归和卷积，而是完全依赖于注意力机制来捕捉输入和输出之间的全局依赖关系。Transformer允许更大程度的并行化。

二、模型

Transformer模型遵循了之前的encoder-decoder架构。

在这里插入图片描述
2.1 模型总览

Encoder：Encoder由N = 6个相同层的堆叠组成。每个层包含两个子层：一是多头自注意力机制（Multi-Head self-Attention），二是前馈神经网络（Feed Forward）。每个子层后都追加一个残差连接和归一化（Add&Norm）操作。模型中的所有子层以及Embedding层均产生维度dmodel = 512的输出。

Decoder：Decoder同样由N = 6个相同层的堆叠组成。每个层包含三个字层：一是带mask操作的多头自注意力机制（Masked Multi-Head self-Attention），二是Encoder到Decoder的多头注意力机制（注意这里并不是自注意力机制）（Encoder-Decoder Multi-Head Attention），三是前馈神经网络（Feed Forward）。每个子层同样追加一个残差连接和归一化（Add&Norm）操作。

2.2 注意力机制

注意力机制是基于三种向量（或者矩阵）：查询向量（Query

最低0.47元/天 解锁文章

200万优质内容无限畅学
【论文阅读笔记】Attention Is All You Need
时光机 °的博客
04-08 1634
这是17年的老论文了，Transformer的出处，刚发布时的应用场景是文字翻译。BLUE是机器翻译任务中常用的一个衡量标准。在此论文之前，序列翻译的主导模型是RNN或者使用编解码器结构的CNN。本文提出的Transformer结构不需要使用循环和卷积结构，是完全基于注意力机制的模型。Transformer在序列转换上具有高并行度，在两个机器翻译的任务上都得到了卓越的成果，且其训练时间显著减少。在WMT2024的英语转法语翻译任务上，本文的Transformer模型在8张P100 GPU上训练。
Attention Is All You Need--论文笔记
dezwb的博客
06-03 1200
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
【NLP】《Attention Is All You Need》的阅读笔记
让算法融入生活，改变生活！
05-14 1226
背景 在深度学习领域，如果你连Transformer都不知，那就太out了。现如今基于Transformer的模型，如Bert在NLP的下游的很多任务中都达到了sota。而这个Transformer就出自于这篇论文。虽然是2017年发表的，但是已经被称作是非常经典的论文了。下面继续像以往一样阅读，或者是原文的翻译吧。原文地址：Attention Is All You Need。在了解这个模型时也看到原文和译文的对照：https://yiyibooks.cn/yiyibooks/Attention_Is_Al
一文彻底搞懂Transformer - Add & Norm（残差连接和层归一化）
2401_85377976的博客
08-22 1万+
残差网络（ResNet）通过残差连接，使得输入信息可以直接跨越一层或多层，与后续层的输出相加，从而缓解了深层网络中的梯度消失和梯度爆炸问题，使得网络可以扩展到更深的层数。组归一化是一种介于批归一化和层归一化之间的方法，它将输入数据分成多个小组，然后对每个小组内的样本进行归一化，从而减小小组之间的相关性，提高网络的学习能力。它通过在每个批次中对输入数据进行规范化，使其均值为0、方差为1，从而加速网络的收敛过程，降低网络对初始化和学习率的敏感性，同时也有一定的正则化效果。
[LLM] 自然语言处理 ----- Attention机制中的Q,K,V介绍
摩登都市天空---专栏
09-14 2万+
注意力机制就是要通过训练得到一个加权，自注意力机制就是要通过权重矩阵来自发地找到词与词之间的关系。 Q就是词的查询向量，K是“被查”向量，V是内容向量。 简单来说一句话：Q是最适合查找目标的，K是最适合接收查找的，V就是内容，这三者不一定要一致，所以网络这么设置了三个向量，然后学习出最适合的Q, K, V，以此增强网络的能力。 因此肯定需要给每个input定义tensor，然后通过tensor间的乘法来得到input之间的关系。那这么说是不是给每个input定义...
构建Transformer框架，你必须了解残差连接和归一化
m0_56255097的博客
12-25 1241
在Transformer框架中，残差连接（Residual Connections）和归一化层（Layer Normalization）是两个重要的组成部分，它们通常组合成一个整体作用于模型的各个层次中，从而提高模型的训练效率和综合性能。本篇我将为各位同学介绍一下残差连接和归一化层，目的是让各位明白如何在Transformer框架中构建残差连接和归一化层。
层归一化和残差连接
m0_51200050的博客
06-13 1439
层归一化和残差连接
Attention is all you need论文阅读笔记
12-25
Attention is all you need 论文阅读笔记 本文是对 Attention is all you need 论文的阅读笔记，论文提出了一种新的.sequence transduction 模型，即 Transformer，该模型基于自注意力机制，舍弃了循环和卷积神经...
论文笔记《Attention Is All You Need》
丶Karl的博客
02-10 2238
Attention Is All You Need：Transformer开山之作。
Attention Is All You Need（Transformer）详解以及代码复现
a1105425455的博客
06-19 2399
Attention Is All You Need（Transformer）详解以及代码复现
《Attention Is All You Need》论文精读，并解析Transformer模型结构
Flying Bulldog 的博客
06-16 1956
建议：结合《Attention Is All You Need》论文观看此文章。Transformer的模型结构如下图所示，通过把“My money don't jiggle jiggle”翻译成“我的钱不摇晃摇晃”来分析Transformer的工作过程。训练过程中，每一次解码器的输出与数据集中的翻译值通过交叉熵计算错误率（一次送入batch_size大小个token，计算错误率），从而对权重进行更新。 预测过程，同训练过程相似，即输入英文句子，一个词一个词的翻译成汉语句子。...
通俗易懂：Attention中的Q、K、V是什么？怎么得到Q、K、V？
weixin_44371912的博客
04-29 4万+
说一下Attention中的QKV是什么，再举点例子说明QKV怎么得到。还是结合例子明白的快。 Attention中Q、K、V是什么？ 首先Attention的任务是获取局部关注的信息。Attention的引入让我们知道输入数据中，哪些地方更值得关注。 对于Q(uery)、K(ey)、V(alue)的解释，知其然而知其所以然。 首先Q、K、V都源于输入特征本身，是根据输入特征产生的向量，但目前我们现在无需关注是如何产生这组向量的。 V可以看做表示单个输入特征的向量。当我们直接把一组V输入到网络中进行训练，那
Transformer-02 MASK、FFN、残差连接+层归一化及Embedding
qq_30330061的博客
11-16 4881
Transformer-02 MASK、FFN、残差连接+层归一化及Embedding
首次！无残差连接或归一化层，也能成功训练深度Transformer
Paper weekly
12-11 327
©作者 |杜伟、陈萍来源 |机器之心尽管取得了很多显著的成就，但训练深度神经网络（DNN）的实践进展在很大程度上独立于理论依据。大多数成功的现代 DNN 依赖残差连接和归一化层的特定排列，但如何在新架构中使用这些组件的一般原则仍然未知，并且它们在现有架构中的作用也依然未能完全搞清楚。残差架构是最流行和成功的，最初是在卷积神经网络（CNN）的背景下开发的，后来自注意力网络中产生了无处不在的 tr...
深度学习笔记（三）——归一化&残差网络
Oreooooo的博客
02-25 2968
6.1 批量归一化和残差网络 浅层模型：处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 深层模型：利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 全连接层 位置：全连接层中的仿射变换和激活函数之间。 分母加上很小的数值以保证不为零，同时可以引入拉伸参数与偏移参数，可以使归一化效果不好的时候无效化。 卷积层 位置：卷积计...
对Attention is all you need 的理解
热门推荐
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
批量归一化与残差网络
杂文集
02-25 635
批量归一化 数据标准化预处理对于浅层模型就足够有效了。但随着模型训练的进行，当每层中参数更新时，靠近输出层的输出较难出现剧烈变化。但对深层神经网络来说，即使输入数据已做标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化。这种计算数值的不稳定性通常令我们难以训练出有效的深度模型。 批量归一化的提出正是为了应对深度模型训练的挑战。在模型训练时，批量归一化利用小批量上的均值和标准差，不断...
批量归一化和残差网络、稠密连接网络
weixin_44696221的博客
02-19 2281
批量归一化 批量归一化（BatchNormalization） 对输入的标准化（浅层模型） 处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。 标准化处理输入数据使各个特征的分布相近 批量归一化（深度模型） 利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。 ...
attention is all you need论文汇报
最新发布
03-15
### 关于 'Attention Is All You Need' 的解读 《Attention Is All You Need》是一篇由Google Brain团队发表的重要论文，首次提出了Transformer模型架构。该论文的核心贡献在于引入了一种全新的机制——自注意力（Self-Attention），它显著提高了自然语言处理任务的效果并降低了计算复杂度[^1]。 #### Transformer 架构的关键特点 Transformer摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全依赖于注意力机制来捕捉输入序列中的长期依赖关系。以下是其主要特性： - **多头注意力机制**：通过多个平行的注意力层捕获不同子空间的信息，增强了模型的表现力。 - **位置编码**：由于Transformer不具有像RNN那样的固有顺序结构，因此采用正弦函数形式的位置编码向量加入到词嵌入中以保留序列信息。 - **前馈神经网络**：每个位置独立地应用相同的线性变换和激活函数组成的两层全连接网络。 这些设计使得Transformer能够更高效地训练大规模数据集，并且在翻译质量上超越当时的最佳方法。 #### 可能存在的汇报PPT总结与解读资源方向 对于获取有关此论文的具体汇报材料或者深入浅出的解释文档,可以考虑以下几个途径: 1. 学术会议报告:原始作者通常会在顶级会议上展示他们的研究成果;查看NeurIPS 2017的相关演讲视频可能有所帮助. 2. 教育平台课程笔记:Coursera,Udacity等在线教育网站提供专门讲解NLP技术进展包括Transformers在内的专项课程. 3. 技术博客文章系列:Medium,Hacker Noon以及其他知名开发者社区经常发布高质量的技术分享帖文. 下面给出一段简单的Python代码用于加载预训练好的BERT模型(基于同样的原理构建)，作为实际操作演示的一部分： ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained("bert-base-uncased") text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state) ``` 以上脚本展示了如何利用Hugging Face库快速实例化一个基础版别的BERT模型，并传入待分析字符串得到相应特征表示矩阵。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值