论文阅读 Attention is all u need - transformer

原创 已于 2024-01-18 17:02:41 修改 · 1.4k 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #transformer #深度学习

于 2024-01-09 15:29:46 首次发布
本文详细阐述了一种仅需self-attention和线性层构成的Encoder-Decoder模型，对比了其与Seq2Seq和RNN的区别。重点介绍了多头注意力机制、QKV操作、位置编码和正则化的应用，以及Transformer如何优化语言模型并减少RNN的记忆限制。

文章目录

1 摘要

1.1 核心

提出一个仅需要self attention + linear组合成encoder+decoder的模型架构

2 模型架构

2.1 概览

在这里插入图片描述
在这里插入图片描述

2.2 理解encoder-decoder架构

2.2.1 对比seq2seq，RNN

Self Attention

  1. 输入token转为特征输入
  2. shape [n(序列长度), D(特征维度)] 输入
  3. 进入attention模块
  4. 输出 shape [n(序列长度), D1(特征维度)] 此时每个D1被N个D做了基于attention weight的加权求和
  5. 进入MLP
  6. 输出 shape [n(序列长度), D2(输出维度)] 此时每个D2被D2和MLP weight矩阵相乘
  7. 每个D2转换为输出token

RNN

  1. 34步去除，并将每次MLP的输入修改为前一个Kt-1组合Kt输入

最低0.47元/天 解锁文章
【论文阅读笔记】《Attention is All You Need》——Attention机制和Transformer
ymk1998的博客
03-18 1367
Self-Attention 原理 计算两个向量之间的相关性α 输入的向量分别乘矩阵Wq和Wk得到q(query)和k(key) 输入的向量分别乘矩阵W^q和W^k得到q(query)和k(key) 输入的向量分别乘矩阵Wq和Wk得到q(query)和k(key) 相似度α=q⋅k 相似度\alpha =q\cdot k 相似度α=q⋅k Self-attention 得到相似度α，也就是权重，和每个向量的value相乘再求和得到b1 得到相似度\alpha，也就是权重，和每个向量的valu
Attention Is All You Need
lpty的博客
01-07 2928
引言 google 在2017年发布的一篇论文，即是transformer，原文地址：Attention Is All You Need
论文解读：Attention Is All You Need
weixin_42046845的博客
12-12 6089
谷歌于2017年发布论文《Attention Is All YouNeed》，提出了一个只基于attention的结构来处理序列模型相关的问题，比如机器翻译。相比传统的CNN与RNN来作为encoder-decoder的模型，谷歌这个模型摒弃了固有的方式，并没有使用任何的CNN或者RNN的结构，该模型可以高度并行的工作，相比以前串行并且无法叠加多层、效率低的问题。那么Transorformer可以高度并行的工作，所以在提升翻译性能的同时训练速度也特别快。
注意力足矣（Attention Is All You Need）
weixin_44378835的博客
06-15 1万+
本文将介绍一个不使用卷积和循环网络层，而是完全基于注意力机制的模型——Transformer。
【Transformer系列（3）】 《Attention Is All You Need》论文超详细解读（翻译＋精读）
热门推荐
路人贾的博客
04-17 3万+
transformer开山之作《Attention Is All You Need》论文超详细解读（翻译＋精读）
Attention Is All You Need—transformer详解
chengshrine的博客
04-29 378
transformer仅仅使用注意力机制，没有使用任何的卷积或者RNN结构。传统RNN结构的当前隐层状态ht​需要当前时刻的输入以及上一时刻的隐状态输入ht−1​，受到这一固有特性的影响，遇上长序列时效率会非常低，因为受到内存大小的限制，不可能无限制增大batch的大小，无法并行处理序列。由于翻译前后句子长短不一定是一致的，机器翻译任务一般采用编码-解码结构来解决。
Attention is all you need-Transformer
最新发布
07-18
为解决这一问题，**“Attention is all you need”** 论文提出了全新的Transformer架构，它完全摒弃了循环和卷积操作，仅依靠注意力机制来进行序列建模。 #### 关键贡献与创新 Transformer的核心贡献在于它是一种...
精选资源
attention-is-all-you-need-pytorch_pytorch_transformer_attention_
10-01
标题中的"attention-is-all-you-need-pytorch_pytorch_transformer_attention_"暗示了我们要讨论的是一个基于PyTorch实现的Transformer模型，这是论文《Attention is All You Need》中提出的一种深度学习模型，主要...
NIPS-2017-attention-is-all-you-need-Paper-中文翻译版本.docx
01-27
Attention is All You Need 本篇论文的主要贡献在于提出了一种新的序列转导模型架构，称为Transformer，它完全基于自我注意机制，避免了递归和卷积神经网络。这种模型架构可以在机器翻译任务中达到 state-of-the-...
attention-is-all-you-need-pytorch-zhushi-代码注释
03-22
Transformer模型是2017年Vaswani等人在论文《Attention is All You Need》中提出的一种基于自注意力机制的深度学习架构，它在自然语言处理领域取得了重大突破，特别是在机器翻译任务上。 描述中的"attention-is-all...
Attention is all you need理解与代码实现（一）
qq_43152622的博客
07-24 2236
本篇博文是学习attention is all you need这篇论文中的transfomer。探讨了其中的原理并对论文进行了复现
Attention is All You Need 论文架构理解
Medlen
09-28 1039
本文主要对论文“Attention is All You Need”的核心架构进行介绍。 下图是Transformer的架构： Attention 一个attention函数可以看做是将一个query跟一组key-value对映射到一个输出。query、keys、values和输出都是向量。输出是values的加权和，每一个values对应的权重是由兼容函数（compatibility function）根据query和对应的key计算出来的。 图1 Scaled Dot-Product Attenti
【翻译】Attention Is All You Need
jokerwu192的博客
07-02 2万+
论文地址：https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf 项目地址：https://github.com/ tensorflow/tensor2tensor
使用python输出“hello world”的方法
ga72x1的博客
12-16 2万+
使用python输出“hello world”的方法 1、使用Python idle输出“hello world” 打开cmd交互窗口，输入python，出现“>>>”符号时输入print(‘hello world’)回车即可。 2、使用ipython输出hello world 在cmd交互窗口输入ipython，输入print(‘hello world’)回车即可。 3、使用pycharm输出hello world 打开pycharm，创建py文件，输入print(‘hello wo
论文干货 |《Attention Is All You Need》
qq_45832461的博客
10-05 2227
史上最全面最详细的《Attention Is All You Need》论文阅读笔记，细致透彻地解读Transformer架构，图文并茂，让读者深入理解Transformer模型的原理！
【论文精读46】Attention Is All You Need
scu-liu的博客
04-13 2326
贴一下汇总贴：论文阅读记录 论文链接：Attention Is All You Need》 一、摘要
《Attention Is All You Need》阅读笔记
lameraaa的博客
02-28 1647
基本信息 论文：《Attention Is All You Need》 作者：Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Lizhe Wanga, Illia Polosukhin 年份： 2017 参考：沐神的讲解: https://www.bilibili.com/video/BV1pu411o7BE?spm_id_from=333.999.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值