Transformer详解

原创 已于 2022-07-04 09:58:03 修改 · 447 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #自然语言处理

于 2022-07-01 12:01:37 首次发布
本文介绍Transformer模型的基本结构，包括Encoder和Decoder的组成与工作原理，并详细解释了位置编码的作用及多头注意力机制的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer全局概括

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意:

  1. Encoder和Decoder的个数可以自己决定，Encoder之间的结构是相同的，Decoder之间的结构是相同的，但是Encoder和Decoder之间的结构是不相同的
  2. Encoder之间的结构是完全相同的，但是参数是完全不同的，训练的时候是6个Encoder都在训练
    在这里插入图片描述
    Encoder
    在这里插入图片描述
    Decoder
    在这里插入图片描述

位置编码

在这里插入图片描述

  1. Embedding
    将输入的句子切分成字，每个字定义一个512维的字向量
    在这里插入图片描述
  2. 位置编码
    对于RNN的输入参数u,隐藏参数w，输出参数v，在所有的timestamps，RNN都共享一套参数，更新的时候也是更新整套参数。
    在这里插入图片描述
    RNN是串行化处理，Transformer可以并行化，所有单词可以一起处理，但是忽略了单词间的序列关系（先后关系），这个时候就需要位置编码
    在这里插入图片描述
    将位置编码（512维度）和字向量（512维度）相加，得到最终的Transformer的输入
    在这里插入图片描述
    在这里插入图片描述

多头注意力机制

在这里插入图片描述
在这里插入图片描述

Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 9224
Transformer中解码器decoder的详细讲解（图文解释）
Transformer之Decoder
weixin_40280870的博客
01-18 1489
在开始处理输入序列之前，模型对输出嵌入进行一个位置，确保在训练阶段，解码器内的每个符号都能正确地获取之前生成符号的上下文信息。仿照编码器的设计，模型将，以此保留符号的序列顺序信息。解码器利用带掩码的多头自注意力机制，专注于输入序列的相关片段以及之前产生的符号。在训练过程中，通过，确保每个符号仅能参考其之前的符号。除了外，解码器还融合了，这使得解码器能够聚焦于输入序列的重要部分，进而生成受输入语境影响的输出符号。在自注意力层之后，解码器对每个符号独立施加。
Transformer Decoder
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
transformer-实现解码器Decoder
最新发布
hbkybkzw的博客
04-30 1039
Transformer Decoder是Transformer模型的核心生成组件，负责基于编码器输出和已生成内容预测后续token。通过堆叠多层结构相同的解码层（Decoder Layer），每层包含自注意力机制、编码器-解码器注意力机制和前馈神经网络，实现序列生成的上下文感知。实现上图红色框中的整个Decoder结构词嵌入层：将目标序列token映射为连续向量位置编码：加入自回归生成的位置信息多层解码层：通过三类注意力机制进行上下文建模。
Transformer——Decoder
maggieyiyi的博客
09-22 656
ques:为什么需要mask？ans:如果没有mask，那么在训练的时候存在you和know。如下图，但是在测试的时候，没有mask，会出现误差，模型效果不好。需要mask 如图：训练的时候将you和know mask掉，保证一致性。
【transformer】| 李宏毅transformer decoder
qq_35608277的博客
06-24 220
encoder eg decoder 输入包括 encoder的输出，给定一个BEGIN ，一个decoder输出的维度V（机器翻译就是中文字的个数，4、5000） 每个输出送入下一个输入
transformer详解
08-18
transformer 详解 Transformer 模型是一个 Encoder-Decoder 架构，由编码组件和解码组件组成。编码组件由多层编码器（Encoder）组成，解码组件也是由相同层数的解码器（Decoder）组成。编码器的输入会先流入 Self-...
史上最小白之Transformer详解
热门推荐
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
Transformer详解.pptx
06-15
Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Ashish Vaswani等人在2017年提出的论文《Attention is all you need》中首次介绍。它摒弃了传统的循环神经网络（RNN）和长短期记忆网络（LSTM）结构...
Transformer 中的 Decoder 机制
实力派，无需多言！
11-07 3919
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer 优快云上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural Network Architecture for Language Understanding 李宏毅
Transformer Decoder详解
To be a better man
05-24 5710
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
构建Transformer框架，你必须了解Decoder【解码器】
star_nwe的博客
12-26 1360
Transformer框架由两部分组成：编码器（Encoder）和解码器（Decoder）。本篇我们来聊聊解码器（Decoder）。
Transformer翻译模型Decoder详解（Masking）
weixin_37735081的博客
02-11 9733
写这个博客的原因在于：大部分解释Transformer的文章都只注重讲解Encoder部分，在Encoder中又侧重讲解self-attention原理。为了读者更好地理解整个Transformer的训练过程，我决定结合代码写一篇在理解了Encoder部分怎么理解Decoder模块的博文。 参考文章：https://jalammar.github.io/illustrated-transforme...
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 8311
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
深度学习入门--Transformer中的Decoder详解
qq_15534667的博客
05-02 1万+
Transformer中的Decoder详解DecoderDecoder结构Masked训练与推断实现代码 Decoder 在上一节中，我们学习了Encoder的结果及实现代码： Transformer中的Encoder详解：Multi-Head-Attention及Feed-Forward 在这一节中，我们将学习Transformer剩余的部分：Decoder Decoder结构 DecoderDecoderDecoder的结构和EncoderEncoderEncoder类似，但是相较于EncoderE
Transformer 中 Decoder 结构解读_by 弘毅
chumingqian的博客
04-08 1万+
Transformer 中 Decoder 结构解读 DECODER D 的输出 一个 一个 产生的， decoder 中看到当前输入是 ， decoder 在前一个时间点的输出； decoder 会将自己的输出 当做接下来的 输入； 此时， 先暂时忽略 Decoder 中 来自 encoder 的输入； 训练的时候 误差 采用 minize cross entropy; 测试的时候 的 误差 BLUe score Masked self attention : 只考虑输入向量本身， 以及输入向量的
deep learning 13. transformer 代码详细解析之decoder
adowu
03-18 1927
开始的话： 从基础做起，不断学习，坚持不懈，加油。 一位爱生活爱技术来自火星的程序汪
Transformer 详解
12-15
Transformer 是一种用于自然语言处理任务的深度学习模型，它是由 Google 在 2017 年提出的。相比于传统的循环神经网络和卷积神经网络，Transformer 采用了全新的 Encoder-Decoder 架构，使用了自注意力机制（Self-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值