《Attention Is All You Need》

最新推荐文章于 2025-04-08 00:15:00 发布
最新推荐文章于 2025-04-08 00:15:00 发布
阅读量257 收藏
点赞数
分类专栏： 论文阅读记录
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46040552/article/details/104430220
版权

Proposal

propose the Transformer, a model architecture eschewing recurrence and instead relying entirely on an attention mechanism to draw global dependencies between input and output.

Contributions

1、The Transformer allows for significantly more parallelization.

2、The Transformer can reach a new state of the art【Performance】 in translation quality after being trained for as little as twelve hours【time】 on eight P100 GPUs.

3、The Transformer is more interpretable.

4、The Transformer is the first transduction model relying entirely on self-attention to compute representations of its input and output without using sequencealigned RNNs or convolution.

Architecture

Attention function

Left is the Scaled Dot-Product Attention, and right is the Multi-Head Attention consists of several attention layers running in parallel.
Note that the total computational cost of the Multi-Head Attention is similar to that of single-head attention with full dimensionality.

Position Encoding

inject some information about the relative or absolute position of the token in the sequence.

思路要点

感觉全篇都是要点。

零基础学nlp【6】 self attention（Attention is all you need）
rory0114的博客
03-13 1441
零基础学nlp【6】 self attention 论文：Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. 2017: 5998-6008. 1 前言 前几节已经介绍了有关attention机制以及其各种...
text classification 的论文 -- 持续更新
qq_27009517的博客
08-07 1147
1. attention 1. Vaswani A, Shazeer N, Parmar N, et al. Attention Is All You Need[J]. 2017. 2. Raffel C, Ellis D P W. Feed-Forward Networks with Attention Can Solve Some Long-Term Memory Problems[J]....
#论文阅读#attention is all you need
weixin_30305735的博客
11-06 1102
Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. 2017: 5998-6008. 文章提出纯粹基于attention的NN model: Transformer。 the Transfor...
【论文阅读13】- Attention Is All You Need
wangshangshang09的博客
04-08 1005
这篇论文介绍了 **Transformer** 模型，它是第一个完全基于 **自注意力机制（self-attention）** 的序列转换模型，旨在替代传统的 **循环神经网络（RNN）** 或 **卷积神经网络（CNN）** 用于序列到序列的任务，如机器翻译。
Attention Is All You Need 注意力机制的文章
weixin_43823175的博客
11-26 2401
Attention Is All You Need 注意力机制的文章 论文原文 Vaswani A , Shazeer N , Parmar N , et al. Attention Is All You Need[J]. arXiv, 2017. https://arxiv.org/abs/1706.03762 最新的三维视觉研究中引入了Attention（注意力机制），学习原文可能会有更多的收获 目前主流的序列转导模型主要应用cnn或rnn，性能最好的模型还通过注意力机制连接编码器和解码器。作者提出
Attention Is All You Need (NIPS 2017)
77wpa的博客
06-30 2005
占主导地位的序列转导模型基于复杂的递归或卷积神经网络，包括编码器和解码器。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，即Transformer，它完全基于注意力机制，完全省去了递归和卷积。在两个机器翻译任务上的实验表明，这些模型在质量上优越，同时更具并行性，并且需要更少的训练时间。我们的模型在WMT 2014英语到德语翻译任务中实现了28.4 BLEU，比现有的最佳结果（包括组合）提高了2个以上BLEU。
[笔记][Transformer]Attention Is All You Need
weixin_44834206的博客
03-12 1568
transformer 原论文 Attention is all you need 笔记
Attention Is All You Need
11-16
Transformer 和 Attention 机制详解 Transformer 模型是近年来自然语言处理（NLP）领域的研究热点，该模型首次引入了 Self-Attention 机制，彻底摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）架构，实现了...
NeurIPS: Attention is all you need.pdf
02-28
谷歌大脑团队在2017年推出的论文《NeurIPS: Attention is all you need》标志着一种全新的模型——Transformer的诞生，该模型后来成为了NLP领域乃至生成式AI的核心技术。在本文中，我们将深入探讨Transformer模型的...
Attention Is All You Need, from google brain, 2017
02-29
### Attention Is All You Need：Transformer模型详解 #### 概述 《Attention Is All You Need》是一篇由Google Brain团队在2017年发表的重要论文，该论文提出了一个全新的网络架构——Transformer。这一架构摒弃...
NLP：Attention Is All You Need.pdf
04-21
"Attention Is All You Need"这篇论文提出了一种全新的架构——Transformer，它彻底改变了序列转导模型的设计思路。Transformer网络完全基于注意力机制，不再依赖于RNNs和CNNs。这种设计不仅简化了模型结构，也提高...
Tranformer开篇之作Attention Is All You Need 论文阅读理解+代码注释解读
10-13
Transformer模型是深度学习领域的一次重大突破，由Google在2017年提出的论文《Attention is All You Need》中首次提出。这篇论文颠覆了传统的序列建模方式，如RNN（循环神经网络）和CNN（卷积神经网络），将自注意力...
详解Transformer （Attention Is All You Need）
阿哥的专栏
10-27 1495
注意力（Attention）机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域，例如在计算机视觉方向用于捕捉图像上的感受野，或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升，堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。
论文阅读笔记（四十七）：Attention Is All You Need
sunshine_010的博客
05-12 4586
Abstract The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the e...
Deeplab: DCNNs + Atrous Conv + FCCRFs 阅读笔记
weixin_46040552的博客
12-17 829
一开始真是被标题和摘要吓到了，怎么一篇论文里面塞了这么这么多的东西emmmmm。结果看完了发现，其实是在之间做完的基础上加了ASPP，又结合一些更新的模型运行的结果。 三个主要贡献： 1、突出强调了空洞卷积(Atrous convolution)的重要性。能扩大Filter的感知域，而不增加计算量。 2、提出了ASPP方法来结合多个尺度进行图像分割。 3、结合DCNN和传统的概率图模型-全连接条件...
《SpineNet: Learning Scale-Permuted Backbone for Recognition and Localization》
weixin_46040552的博客
02-21 810
Motivation 1、Convolutional neural networks typically encode an input image into a series of intermediate features with decreasing resolutions. 2、the motivation behind this scale-decreased architecture...
《Dynamic Filter Networks》阅读记录
weixin_46040552的博客
03-06 750
Motivation In a traditional convolutional layer, the learned filters stay fixed after training. So this paper propose the Dynamic Filter Network, where filters are generated dynamically conditioned on...
Attention is all you need
最新发布
05-24
### 关于 'Attention is all you need' 论文及其注意力机制 #### 什么是 Attention Mechanism？ 注意力机制是一种模仿人类视觉注意能力的技术，在处理序列数据时能够动态分配权重给输入的不同部分。这种机制允许模型专注于最相关的上下文信息，从而提高性能[^1]。 #### Self-Attention 的定义与作用 Self-Attention 是一种特殊的注意力形式，它通过计算同一序列中的不同位置之间的关系来捕捉全局依赖性。这种方法首次被引入到 Transformer 架构中，并成为其核心组件之一。相比传统的 RNN 或 CNN 方法，Self-Attention 提供了一种更高效的方式来进行长距离依赖建模[^4]。 #### Additive Attention 和其他变体 除了 Self-Attention 外，还有多种实现方式可以用于衡量两个向量间的相似度。例如 additive attention 使用单层前馈神经网络作为兼容函数来评估查询和键之间匹配程度[^2]。每种方法都有各自特点以及适用场景，在实际应用过程中可以根据具体需求选择合适版本。 #### Dropout 技术防止过拟合 为了减少复杂模型可能出现的过拟合现象，Dropout 成为训练大型深度学习架构时常用技巧之一。该策略随机丢弃一部分节点连接以增强泛化能力。Srivastava 等人在研究中证明了这一简单有效的方法对于提升测试集表现具有重要意义[^3]。 ```python import torch import torch.nn as nn class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model, dropout=0.1): super(MultiHeadedAttention, self).__init__() assert d_model % h == 0 # We assume d_v always equals d_k self.d_k = d_model // h self.h = h self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): if mask is not None: # Same mask applied to all h heads. mask = mask.unsqueeze(1) nbatches = query.size(0) # 1) Do all the linear projections in batch from d_model => h x d_k query, key, value = \ [l(x).view(nbatches, -1, self.h, self.d_k).transpose(1, 2) for l, x in zip(self.linears, (query, key, value))] # 2) Apply attention on all the projected vectors in batch. x, self.attn = attention(query, key, value, mask=mask, dropout=self.dropout) # 3) "Concat" using a view and apply a final linear. x = x.transpose(1, 2).contiguous() \ .view(nbatches, -1, self.h * self.d_k) del query, key, value return self.linears[-1](x) ``` 以上代码展示了如何构建一个多头自注意力模块（Multi-Head Attention），这是基于论文《Attention Is All You Need》设计的核心结构的一部分。 #### 性能影响因素分析 在实验设置下调整 multi-head attention 中heads数量及key/value维度大小会对最终翻译质量产生显著影响。尽管增加head数目通常有助于改善效果，但如果超过某个阈值则可能导致BLEU分数下降[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值