[NIPS2017]Attention is all you need

最新推荐文章于 2025-06-04 23:19:37 发布
最新推荐文章于 2025-06-04 23:19:37 发布
阅读量1.8k 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： PaperNotes 文章标签： attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/appleml/article/details/83415489
本文深入解析Transformer模型，特别是Attention机制。通过Q、K、V的解释，阐述self-attention的工作原理，以及如何理解decoder self-attention中的Masked Multi-Head Attention。同时探讨公式(1)中的softmax(dkQKT)的意义，以及缩放因子dk的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

原理源码讲解：https://www.jiqizhixin.com/articles/2018-11-06-10
https://nlp.seas.harvard.edu/2018/04/03/attention.html

这篇文章是火遍全宇宙，关于网上的解读也非常多，将自己看完后的一点小想法也总结一下。
看完一遍之后，有很多疑问，我是针对每个疑问都了解清楚后才算明白了这篇文章，可能写的不到位，只是总结下，下次忘记了便于翻查。
一：Q，K， V 到底是什么？
在传统的seq2seq框架下：
query: seq2seq模型中decode时隐层向量St−1_{t-1}t−1​， 记作qt−1_{t-1}t−1​, Q就是多个query组成的矩阵Q
value: seq2seq模型中encode时的隐层向量hi_ii​，记作vi_ii​， V是输入序列中n个词的embedding矩阵
key: 对hi_ii​做了一次先行映射得到的向量， 记作ki_ii​，K同上
在本文的transformer下，结合文字和图：
(1) encoder self-attention
Q 就是input sequence(w1w_1w1​, w2w_2w2​, …, wiw_iwi​, …, wnw_nw

最低0.47元/天 解锁文章

200万优质内容无限畅学
Attention Is All You Need 中文翻译
11-18
Attention Is All You Need 中文翻译
《Attention is All You Need》浅读（简介+代码）
芦金宇的专栏
01-13 9289
 2017年中，有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》，它们都算是Seq2Seq上的创新，本质上来说，都是抛弃了RNN结构来做Seq2Seq任务。 这篇博文中，笔者对《Attention is All You
Attention Is All You Need：抛弃循环神经网络的时代来了！
最新发布
m0_72427326的博客
06-04 1086
《Attention Is All You Need》提出的Transformer模型彻底颠覆了传统NLP领域。该模型通过自注意力机制（Self-Attention）取代RNN的顺序计算，实现了并行处理和长距离依赖捕捉。其核心架构包含编码器和解码器，编码器将输入转化为向量并计算词间关系，解码器生成输出时防止信息泄露。Transformer的优势在于并行计算加速训练、多头注意力捕捉多种关系，以及强大的可扩展性。这一突破性成果催生了BERT、GPT等里程碑模型，成为现代AI的基础设施。论文用数学证明：让信息自由
对Attention is all you need 的理解
热门推荐
mijiaoxiaosan的博客
06-14 6万+
对谷歌Attention is all you need 的理解。
Attention Is All You Need
程永强
05-11 4万+
Attention Is All You Need 注意力机制是你需要的全部 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin attention [ə'tenʃ(ə)n]：n. 注意，关注，注意力，关心 int. 注意，立正 attention mechanism：注意力机制 Computer Science，CS：
NeurIPS: Attention is all you need.pdf
02-28
谷歌大脑团队在2017年推出的论文《NeurIPS: Attention is all you need》标志着一种全新的模型——Transformer的诞生，该模型后来成为了NLP领域乃至生成式AI的核心技术。在本文中，我们将深入探讨Transformer模型的...
NIPS-2017-attention-is-all-you-need-Paper-中文翻译版本.docx
01-27
Attention is All You Need 本篇论文的主要贡献在于提出了一种新的序列转导模型架构，称为Transformer，它完全基于自我注意机制，避免了递归和卷积神经网络。这种模型架构可以在机器翻译任务中达到 state-of-the-...
NIPS-2017-attention-is-all-you-need-Paper.pdf
08-09
- Noam Shazeer提出了缩放点积注意力（scaled dot-product attention）、多头注意力（multi-head attention）机制和无参数位置表示（parameter-free position representation）。 - Jakob Uszkoreit提出了用自注意...
Attention Is All You Need.rar
01-03
《Attention Is All You Need》是2017年发表在《Advances in Neural Information Processing Systems》（NIPS）会议上的一篇重要论文，由Google Brain团队的Ashish Vaswani、Noam Shazeer、Niki Parmar、Jakob ...
Attention+is+All+You+Need.pdf
09-16
标题《Attention Is All You Need》指出了在神经机器翻译领域，注意力机制(Attention)的重要性。在深度学习和神经网络的背景下，注意力模型(Attention Model)的提出，革新了序列到序列（Sequence to Sequence, Seq2...
Transformer: Attention Is All You Need,NIPS 2017
apache的专栏
01-26 650
The Illustrated Transformer http://jalammar.github.io/illustrated-transformer/ The Illustrated Transformer【译】 https://blog.youkuaiyun.com/yujianmin1990/article/details/85221271 https://zhuanlan.zhihu.com/p/54356280
【翻译】Attention Is All You Need
jokerwu192的博客
07-02 2万+
论文地址：https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 项目地址：https://github.com/ tensorflow/tensor2tensor
注意力足矣（Attention Is All You Need）
weixin_44378835的博客
06-15 1万+
本文将介绍一个不使用卷积和循环网络层，而是完全基于注意力机制的模型——Transformer。
文献阅读（48）NIPS2017-Attention Is All You Need
优快云TianJi的博客
06-09 1191
本文是对《Attention Is All You Need》一文的浅显翻译与理解，如有侵权即刻删除。
Attention Is All You Need (NIPS 2017)
77wpa的博客
06-30 2191
占主导地位的序列转导模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，即Transformer，它完全基于注意力机制，完全省去了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语到德语翻译任务中实现了28.4 BLEU，比现有的最佳结果（包括组合）提高了2个以上BLEU。
【大模型系列篇】论文解读：Transformer - Attention Is All You Need
木亦汐丫
08-09 2302
当今大模型初学者必读的一篇论文，已经有不少业内大佬都翻译解读过这篇论文，此处仅作为自己学习的记录。该论文是由谷歌机器翻译团队于2017年发表在NIPS ，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为Encoder-Decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。
NIPS 2017 | Attention is all you need | Transformer 阅读笔记（部分翻译）
ybacm的博客
11-29 2224
Attention is all you need Author Unit: Google Brain, Google Research, University of Toronto Authors: Ashish Vaswani∗^*∗, Noam Shazeer*, Niki Parmar*, Jakob Uszkoreit*, Llion Jones*, Aidan N. Gomez*†^††, Łukasz Kaiser∗^∗∗, Illia Polosukhin∗‡^{∗ ‡}∗‡ Code: h
attention is all you need原文
05-10
论文 *Attention is All You Need* 的原文是由 Vaswani 等人在 2017 年发表的一篇关于 Transformer 模型的经典论文。以下是该论文的主要内容概述以及获取方式： ### 论文基本信息 论文标题为 *"Attention is All You Need"*，作者列表包括 Ashish Vaswani、Noam Shazeer、Niki Parmar 等多位研究者[^1]。这篇论文首次提出了基于自注意力机制（Self-Attention Mechanism）的 Transformer 架构，彻底改变了自然语言处理领域。 #### 主要贡献 Transformer 模型通过引入一种全新的架构设计替代了传统的 RNN 和 CNN 方法，在机器翻译和其他多种 NLP 任务中取得了显著的效果提升。其核心创新在于 **自注意力机制**，它能够高效捕捉输入序列中的长距离依赖关系[^2]。 具体来说： - Attention 函数定义了一种通用框架，用于将查询 (Query) 和键值对 (Key-Value Pairs) 映射到输出向量。 - 输出由 value 向量加权求和得到，权重则取决于 query 和 key 之间的相似度得分计算结果[^3]。 如果希望直接访问原始文档，则可以通过以下链接下载 PDF 文件版本： [https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf](https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf) 此外还可以查阅其他资源进一步了解细节实现等内容。 ```python import requests def download_paper(url, filename="attention_is_all_you_need.pdf"): response = requests.get(url) with open(filename, 'wb') as f: f.write(response.content) # Example usage to save the paper locally. download_paper('https://papers.nips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf') ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值