超详解transformer（附图）

原创 已于 2022-01-23 22:59:48 修改 · 2.1k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #自然语言处理

于 2022-01-20 22:48:17 首次发布
本文深入解析Transformer模型的工作原理，包括其编码器与解码器结构、自我注意力机制、多头注意力机制等核心概念，并介绍如何通过Transformer进行序列到序列的翻译任务。

参考paper: Attention is all you need
发现一篇比较不错的讲transformer的文章，英文原版在这里。
现把它整理一下，有些词便于理解保留英文原单词。

Transformer的high level look

需要翻译的句子（法语）进入transformer后，出来翻译后的句子（英语）。
在这里插入图片描述进入transformer, 看到它是由encoding部分和decoding部分构成
在这里插入图片描述进一步拆解，每个encoding部分由一系列的encoder构成（paper中是6个，当然这个数字也可以调整），decoding部分由相同数量的decoder构成。
在这里插入图片描述encoder们的结构是相同的（但是它们不共享参数），每个encoder又由两部分组成。
在这里插入图片描述encoder的input先进入self attention层，在过一个单词时，这个self attention可以同时关注句子里的其他单词，该层的输出会进入到feed-forward网络，每个位置的单词都会有一个完全相同的feed-forward网络。

decorder也有encoder的两层，同时在两层之间还有一个attention层，帮助decoder聚焦在句子相关的部分上。
在这里插入图片描述

具体示例

下面来看一个input如何经过transformer而得到output。
假设输入一个句子，含有2个单词，首先把单词转为word embedding，是self attention层的输入，z是self attention的输出。
（训练的时候长度由训练集中最长的句子决定）
在这里插入图片描述

可以看到各单词是同时进入encoder的，它们在self attention层中有联系，但是在feed forward层是各自独立的（因为

最低0.47元/天 解锁文章
DrawTransformer绘图源码_ios源码
09-08
DrawTransformer
精选资源
transformer模型详解
02-24
综合分析了现有的主流的nlp翻译模型的即基于CNN的可并行对其文本翻译和基于RNN的LSTM门控长短期记忆时序翻译模型，总结了两个模型的优缺点并在此基础上提出了基于自注意力机制的翻译模型transformer，transformer...
Transformer图解以及相关的概念
shiwei0813的博客
10-17 742
RNN还有一个特定就是能考虑词的顺序(位置)关系，一个句子即使词完全是相同的但是语义可能完全不同，比如”北京到上海的机票”与”上海到北京的机票”，它们的语义就有很大的差别。我们上面的介绍的Self-Attention是不考虑词的顺序的，如果模型参数固定了，上面两个句子的北京都会被编码成相同的向量。为了解决这个问题，我们需要引入位置编码，也就是t时刻的输入，除了Embedding之外(这是与位置无关的)，我们还引入一个向量，这个向量是与t有关的，我们把Embedding和位置编码向量加起来作为模型的输入。
Transformer详解，中文版架构图
强化学习曾小健
06-15 2万+
2.2.1 “编码器-解码器”架构Seq2Seq 思想就是将网络的输入输出分别看作不同的序列，然后实现序列到序列的映射，其经典实现结构就是“编码器-解码器”框架。编码器-解码器框架如图 2.7 所示。图2.7 编码器-解码器的基本框架在 Seq2Seq 思想应用于自然语言处理之初，编码器解码器主要使用的是 RNN 及其变体。针对输入，编码器会先遍历输入序列，根据循环神经网络的特性，每一层的输入都包含了当前层的输入和前一层的隐藏状态，而。
Transformer 全解析 |一篇就搞懂了！
最新发布
qq_37312095的博客
09-22 1114
Transformer、位置编码 、自注意力、FFN
Transformer完全图解
weixin_44305115的博客
10-09 8322
在学习Transformer之前，你需要学习一下Seq2Seq Attention的内容，可以参考： 几张图彻底搞定Seq2Seq Seq2Seq Attention(这三篇就够了，精心发掘整理) Seq2Seq Attention输入输出维度分析(最全面细致) 好了，那下面进入正文 Transformer在2017年Google的一篇论文“Attention Is All You Need”被提...
图解transformer
summer_45的博客
09-07 1315
基于RNN结合Attention的seq2seq模型的缺点：无法对整个序列输入进行并行计算。本文介绍了Transformer模型，他是基于编码器-解码器结构的用于解决seq2seq的一种架构。它结合了注意力机制，使得模型并行计算能力增强；它结合了多头注意力机制，使得模型能够关注到更多方面的信息。
Transformer一图总览（方便记忆和查阅）
iin729的博客
02-21 1779
图片来自论文Yi Tay etc.的《Efficient Transformers: A Survey》 Transformer architecture Transformer architecture 参考论文Vaswani et al., 2017。 总览 Transformers是一种多层结构，由Transformer block相互堆叠而成。 Transformer block的组成 一个多头自注意机制（multi-head self-attention mechanism） 一个位置前馈网
图解 Transformer（超详细完整版）
qkh1234567的博客
10-09 6687
图解 Transformer，高层视角我们首先从将模型看作一个整体的黑箱开始。在机器翻译的应用中，Transformer 接受一种语言的句子作为输入，并输出翻译后的另一种语言的句子。
图解Transformer
BigDream123的博客
05-13 521
原文标题：The Illustrated Transformer 原文链接：https://jalammar.github.io/illustrated-transformer/ 论文地址：https://arxiv.org/abs/1706.03762 前言 Transformer在Goole的一篇论文Attention is All You Need被提出，为了方便实现调用Transformer Google还开源了一个第三方库，基于TensorFlow的Tensor2Tensor，一个NL.
精选资源
transformer详解
08-18
transformer 详解 Transformer 模型是一个 Encoder-Decoder 架构，由编码组件和解码组件组成。编码组件由多层编码器（Encoder）组成，解码组件也是由相同层数的解码器（Decoder）组成。编码器的输入会先流入 Self-...
史上最小白之Transformer详解
热门推荐
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
精选资源
Transformer详解.pptx
06-15
Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Ashish Vaswani等人在2017年提出的论文《Attention is all you need》中首次介绍。它摒弃了传统的循环神经网络（RNN）和长短期记忆网络（LSTM）结构...
原来Transformer就是一种图神经网络，这个概念你清楚吗？.md
03-18
现为**南洋理工大学助理研究员的 Chaitanya Joshi 将为读者介绍图神经网络和 Transformer 之间的内在联系**。具体而言，作者首先介绍 **NLP 和 GNN 中模型架构的基本原理**，使用公式和图片来加以联系，然后讨论怎样能够推动这方面的进步。本文由智察机器人利用深度学习和知识图谱等技术, 从海量信息中自动发现并生成。共享此文前做了md标注，以期充分消化理解此文。
这样图解Transformer应该没人看不懂了吧——Transformer工作原理
bugyinyin的博客
08-28 6223
与任何自然语言处理（NLP）模型一样，Transformer需要了解每个单词的两方面信息——单词的含义及其在序列中的位置。 嵌入层：负责编码单词的含义。 位置编码层：负责表示单词在序列中的位置。 Transformer通过将这两个编码相加来结合这两方面的信息。
图解Transformer（完整版）
McGTSY3的专栏
05-09 948
图解Transformer（完整版） 龙心尘 2019-01-17 23:45:25 14979 收藏 74 展开 作者： 龙心尘 时间：2019年1月 出处：https://blog.youkuaiyun.com/longxinchen_ml/article/details/86533005 审校：百度NLP、龙心尘 翻译：张驰、毅航、Conrad 原作者：Jay Alammar 原链接：https://jalammar.github.io/illustrated-transformer/ 编者按：前一段时间谷
一文了解Transformer全貌（图解Transformer）
hzh1981903的博客
06-14 1132
Transformer是谷歌在2017年的论文《Attention Is All You Need》中提出的，用于NLP的各项任务，现在是谷歌云TPU推荐的参考模型。网上有关Transformer原理的介绍很多，在本文中我们将尽量模型简化，让普通读者也能轻松理解。Transformer由于可并行、效果好等特点，如今已经成为机器翻译、特征抽取等任务的基础模块，目前ChatGPT特征抽取的模块用的就是Transformer，这对于后面理解ChatGPT的原理做了好的铺垫。
图解Transformer | The Illustrated Transformer
我是菜鸡
04-23 4万+
写在最前边 看transformer相关文章的时候发现很多人用了相同的图。直到我搜到作者的原文……于是决定翻译一下无删改的原文。 翻译讲究：信、达、雅。要在保障意思准确的情况下传递作者的意图，并且尽量让文本优美。但是大家对我一个理工科少女的语言要求不要太高，本文只能保证在尽量通顺的情况下还原原文。 作者博客：@Jay Alammar 原文链接：The Illustrated Transformer 原文翻译 在之前的文章中，我们讲了现代神经网络常用的一种方法——Attention机制。 本文章我们来介绍
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值