论文阅读笔记之Attention Is All You Need

最新推荐文章于 2025-06-02 19:47:25 发布
最新推荐文章于 2025-06-02 19:47:25 发布
阅读量4.8k 收藏 3
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 文章标签： nlp 机器翻译 seq2seq 谷歌
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/MrPhD/article/details/79357890
本文是2017年自然语言处理十大论文之一《Attention Is All You Need》的阅读笔记。博客介绍了谷歌在NIPS上发表的Transformer模型，该模型摒弃了传统的RNN或CNN，转而采用Attention机制，以提高Encoder-Decoder架构的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 前言
  • 阅读笔记

前言

  这是戊戌年的第一篇博客，先给各位读者拜个晚年。这篇博客是2017 NLP 十大paper阅读笔记系列的第一篇，当初我立下一个flag—要在2018读完这十篇paper，所以我会依次阅读这些paper，写出我的一些观点。出于各种原因，有些part我就不detail地去写，网上也有一些类似的阅读笔记可以学习。

阅读笔记

  这一篇paper是google发在NIPS上的Attention Is All You Need，这个名字还是很吸引人的。实际上就是在Encoder-Decoder的model上不去使用RNN或者CNN（Facebook关于ConvS2S的工作将在后续的阅读笔记中介绍），而是使用Transformer model，如下图所示。


  Encoder和Decoder各含有六层，图中的Nx只是其中的一层。Encoder部分有一个Multi-Head Attention和前馈网络组成，每部分的输出都经过一个LayerNorm，并且采用残差连接（我会在解读经典卷积神经网络结构时提到ResNet的残差链接，敬请期待第一篇LeNet的介绍和实现）。在Decoder部分，有三个sublayer（比Encoder多一层sublayer），前馈网络不变，一个Multi
最低0.47元/天 解锁文章

200万优质内容无限畅学
【论文阅读笔记】Attention Is All You Need
时光机 °的博客
04-08 1632
这是17年的老论文了，Transformer的出处，刚发布时的应用场景是文字翻译。BLUE是机器翻译任务中常用的一个衡量标准。在此论文之前，序列翻译的主导模型是RNN或者使用编解码器结构的CNN。本文提出的Transformer结构不需要使用循环和卷积结构，是完全基于注意力机制的模型。Transformer在序列转换上具有高并行度，在两个机器翻译的任务上都得到了卓越的成果，且其训练时间显著减少。在WMT2024的英语转法语翻译任务上，本文的Transformer模型在8张P100 GPU上训练。
论文笔记《Attention Is All You Need》
丶Karl的博客
02-10 2233
Attention Is All You Need：Transformer开山之作。
Attention Is All You Need 中文翻译
11-18
Attention Is All You Need 中文翻译
Attention Is All You Need
程永强
05-11 4万+
Attention Is All You Need 注意力机制是你需要的全部 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin attention [ə'tenʃ(ə)n]：n. 注意，关注，注意力，关心 int. 注意，立正 attention mechanism：注意力机制 Computer Science，CS：
【机器学习】支持向量机（SVM）
最新发布
2501_90800687的博客
06-02 1514
支持向量机是一种基于间隔最大化原则的监督学习模型，它通过找到数据集中的最优超平面来区分不同的类别。在二维空间中，这个超平面可以看作是一条线；在三维空间中，它是一个平面；而在更高维空间中，它是一个超平面。
《attention is all you need》解读
kyle1314608的博客
07-29 679
Motivation: 靠attention机制，不使用rnn和cnn，并行度高 通过attention，抓长距离依赖关系比rnn强 创新点： 通过self-attention，自己和自己做attention，使得每个词都有全局的语义信息（长依赖 由于 Self-Attention 是每个词和所有词都要计算 Attention，所以不管他们中间有多长距离，最大的路径...
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 5606
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
【翻译】Attention Is All You Need
jokerwu192的博客
07-02 2万+
论文地址：https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 项目地址：https://github.com/ tensorflow/tensor2tensor
Attention Is All You Need--论文笔记
dezwb的博客
06-03 1197
主要的序列转导模型是基于复杂的RNN（循环神经网络）或CNN（卷积神经网络），一个编码器和一个解码器。表现最好的模型还通过注意机制连接的编码器和解码器。我们提出了一个新的简单的网络架构，Transformer，完全基于注意力机制，完全摒弃循环和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上更优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语-德语翻译任务上实现了28.4 BLEU，比现有的最佳结果(包括集合)提高了2个BLEU以上。
Attention is all you need论文阅读笔记
12-25
Attention is all you need 论文阅读笔记 本文是对 Attention is all you need 论文的阅读笔记，论文提出了一种新的.sequence transduction 模型，即 Transformer，该模型基于自注意力机制，舍弃了循环和卷积神经...
Transformer(一)--论文翻译：Attention Is All You Need 中文版
热门推荐
11-15 9万+
Attention Is All Your Need 摘要   主流的序列转换模型都是基于复杂的循环神经网络或卷积神经网络，且都包含一个encoder和一个decoder。表现最好的模型还通过attention机制把encoder和decoder联接起来。我们提出了一个新的、简单的网络架构，Transformer. 它只基于单独的attention机制，完全避免使用循环和卷积。在两个翻译任务上表...
attention is all you need论文解读
12-29
文章为对attention is all you need的论文解读，详细的剖析了该文章的思想。
paper:Attention Is All You Need（模型篇）
AI蜗牛之家
01-09 1325
1.为什么是attention 正如论文的题目所说的，Transformer中抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。更准确地讲，Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建，作者的实验是通过搭...
Attention is all your need——paper 笔记
wang2008start的专栏
08-16 537
    去掉了 RNN 和 CNN ，直接用 encoder 和 decoder 的层与层之间直接使用 attention 机制，优点在于不需要 long-dependency 句子中的单词 dependency 长度最多只有1，减少了信息传输路径。 这种方式直接可以挖掘句子内部单词与单词的语义组合关系，将其作为一个语义整体，使得翻译时更好地利用单词组合甚至是短语的信息，更好地 decode ...
Attention Is All You Need翻译
nopSled
04-11 1万+
摘要 主流的序列转换模型都是基于复杂的循环或卷积神经网络，这个模型包含一个编码器和一个解码器。具有最好性能的模型在编码和解码之间通过一个注意力机制链接编解码器。我们提出了一个新的简单网络结构，Transformer，仅仅是基于注意力机制，而不完全是循环和卷积。两个机器翻译任务的实验表明，该模型性能更好，同时可以进行并行化，并且需要更少的时间进行训练。在WMT 2014英语到德语翻译任务上，我们的模...
详解Transformer （Attention Is All You Need）
阿哥的专栏
10-27 1651
注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。
NLPpaper精读(三)—— Attention Is All You Need
NLP翟
06-22 746
论文精读——TransformerAbstractIntroduction transformer是一个颠覆式的创造，开启了NLP的新时代 Abstract 主流的序列模型都是采用CNN和RNN来构造的，此外较好的编解码器模型都会采用Attention机制。 本文提出了一个简单的模型是Transformer，完全的基于注意力机制，而避免了使用CNN与RNN。 Transformer提供了并行计算的...
[paper] Attention is all you need 论文浅析
是安澜啊
10-07 355
模型包括 encoder-decoder structure，encode 是将输入序列映射成连续的表示序列：,decoder 模块将作为输入,一次产生一个元素的output sequence:,每一个step，model 都是 auto-regressive[10]，生成下一个symbols时候，先前的symbols都作为额外的输入。
attention is all you need论文汇报
03-15
### 关于 'Attention Is All You Need' 的解读 《Attention Is All You Need》是一篇由Google Brain团队发表的重要论文，首次提出了Transformer模型架构。该论文的核心贡献在于引入了一种全新的机制——自注意力（Self-Attention），它显著提高了自然语言处理任务的效果并降低了计算复杂度[^1]。 #### Transformer 架构的关键特点 Transformer摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN），完全依赖于注意力机制来捕捉输入序列中的长期依赖关系。以下是其主要特性： - **多头注意力机制**：通过多个平行的注意力层捕获不同子空间的信息，增强了模型的表现力。 - **位置编码**：由于Transformer不具有像RNN那样的固有顺序结构，因此采用正弦函数形式的位置编码向量加入到词嵌入中以保留序列信息。 - **前馈神经网络**：每个位置独立地应用相同的线性变换和激活函数组成的两层全连接网络。 这些设计使得Transformer能够更高效地训练大规模数据集，并且在翻译质量上超越当时的最佳方法。 #### 可能存在的汇报PPT总结与解读资源方向 对于获取有关此论文的具体汇报材料或者深入浅出的解释文档,可以考虑以下几个途径: 1. 学术会议报告:原始作者通常会在顶级会议上展示他们的研究成果;查看NeurIPS 2017的相关演讲视频可能有所帮助. 2. 教育平台课程笔记:Coursera,Udacity等在线教育网站提供专门讲解NLP技术进展包括Transformers在内的专项课程. 3. 技术博客文章系列:Medium,Hacker Noon以及其他知名开发者社区经常发布高质量的技术分享帖文. 下面给出一段简单的Python代码用于加载预训练好的BERT模型(基于同样的原理构建)，作为实际操作演示的一部分： ```python from transformers import BertTokenizer, BertModel tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained("bert-base-uncased") text = "Replace me by any text you'd like." encoded_input = tokenizer(text, return_tensors='pt') output = model(**encoded_input) print(output.last_hidden_state) ``` 以上脚本展示了如何利用Hugging Face库快速实例化一个基础版别的BERT模型，并传入待分析字符串得到相应特征表示矩阵。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值