Transformer详解

原创 已于 2022-07-04 09:58:03 修改 · 463 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #自然语言处理

于 2022-07-01 12:01:37 首次发布
本文介绍Transformer模型的基本结构，包括Encoder和Decoder的组成与工作原理，并详细解释了位置编码的作用及多头注意力机制的应用。

Transformer全局概括

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意:

  1. Encoder和Decoder的个数可以自己决定，Encoder之间的结构是相同的，Decoder之间的结构是相同的，但是Encoder和Decoder之间的结构是不相同的
  2. Encoder之间的结构是完全相同的，但是参数是完全不同的，训练的时候是6个Encoder都在训练
    在这里插入图片描述
    Encoder
    在这里插入图片描述
    Decoder
    在这里插入图片描述

位置编码

在这里插入图片描述

  1. Embedding
    将输入的句子切分成字，每个字定义一个512维的字向量
    在这里插入图片描述
  2. 位置编码
    对于RNN的输入参数u,隐藏参数w，输出参数v，在所有的timestamps，RNN都共享一套参数，更新的时候也是更新整套参数。
    在这里插入图片描述
    RNN是串行化处理，Transformer可以并行化，所有单词可以一起处理，但是忽略了单词间的序列关系（先后关系），这个时候就需要位置编码
    在这里插入图片描述
    将位置编码（512维度）和字向量（512维度）相加，得到最终的Transformer的输入
    在这里插入图片描述
    在这里插入图片描述

多头注意力机制

在这里插入图片描述
在这里插入图片描述

史上最小白之Transformer详解
Tink1995的博客
03-27 34万+
1.前言 博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下) 上篇博客地址：史上最小白之从Attention到Transformer详解(上) 在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。 2.Transformer 原理 2.1 Tr...
Transformer中的Encoder、Decoder
01-06
一、Transformer博客推荐 Transformer源于谷歌公司2017年发表的文章Attention is all you need,Jay Alammar在博客上对文章做了很好的总结： 英文版：The Illustrated Transformer 优快云上又博主（于建民）对其进行了很好的中文翻译： 中文版：The Illustrated Transformer【译】 Google AI blog写的一篇简述可以作为科普文： Transformer: A Novel Neural Network Architecture for Language Understanding 李宏毅
Transformer Decoder
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
Transformer之Decoder
weixin_40280870的博客
01-18 2073
在开始处理输入序列之前，模型对输出嵌入进行一个位置，确保在训练阶段，解码器内的每个符号都能正确地获取之前生成符号的上下文信息。仿照编码器的设计，模型将，以此保留符号的序列顺序信息。解码器利用带掩码的多头自注意力机制，专注于输入序列的相关片段以及之前产生的符号。在训练过程中，通过，确保每个符号仅能参考其之前的符号。除了外，解码器还融合了，这使得解码器能够聚焦于输入序列的重要部分，进而生成受输入语境影响的输出符号。在自注意力层之后，解码器对每个符号独立施加。
Transformer——Decoder
maggieyiyi的博客
09-22 692
ques:为什么需要mask？ans:如果没有mask，那么在训练的时候存在you和know。如下图，但是在测试的时候，没有mask，会出现误差，模型效果不好。需要mask 如图：训练的时候将you和know mask掉，保证一致性。
【transformer】| 李宏毅transformer decoder
qq_35608277的博客
06-24 236
encoder eg decoder 输入包括 encoder的输出，给定一个BEGIN ，一个decoder输出的维度V（机器翻译就是中文字的个数，4、5000） 每个输出送入下一个输入
精选资源
transformer详解
08-18
transformer 详解 Transformer 模型是一个 Encoder-Decoder 架构，由编码组件和解码组件组成。编码组件由多层编码器（Encoder）组成，解码组件也是由相同层数的解码器（Decoder）组成。编码器的输入会先流入 Self-...
精选资源
Transformer详解.pptx
06-15
Transformer模型是自然语言处理（NLP）领域的一个里程碑式创新，由Ashish Vaswani等人在2017年提出的论文《Attention is all you need》中首次介绍。它摒弃了传统的循环神经网络（RNN）和长短期记忆网络（LSTM）结构...
Transformer 中的 Decoder 机制
实力派，无需多言！
11-07 4029
目标序列 [tensor([1., 1., 1.]), tensor([1., 1., 1., 1., 1.])]# 特征序列 [tensor([1., 1.]), tensor([1., 1., 1., 1.])]# 目标序列和特征序列之间的长度不一样，需要将原序列中和目标序列中padding后的元素mask掉。# 有效特征序列[2,4]==>[2,4,1], 有效目标序列[2,5]==>[2,5,1]# 维度扩充[seq_len,seq_len]==>[1,seq_len,seq_len]
Transformer中解码器decoder的详细讲解（图文解释）
showswoller的博客
03-30 9474
Transformer中解码器decoder的详细讲解（图文解释）
Transformer Decoder详解
To be a better man
05-24 5792
这两天在学习Transformer，看了李沐的论文解读和NLP从入门到放弃，看完这两个视频算是大致明白了Transformer的结构。 关于Self-Attention、Multi-Head Attention以及Poisitonal Encoding强烈建议看一下这篇文章：详解Transformer中Self-Attention以及Multi-Head Attention 但是对于Decoder部分，依然是有点模糊，不知道Decoder的输入到底是什么，也不知道Decoder到底是不是并行计算，还有E
构建Transformer框架，你必须了解Decoder【解码器】
star_nwe的博客
12-26 1574
Transformer框架由两部分组成：编码器（Encoder）和解码器（Decoder）。本篇我们来聊聊解码器（Decoder）。
Transformer翻译模型Decoder详解（Masking）
weixin_37735081的博客
02-11 9853
写这个博客的原因在于：大部分解释Transformer的文章都只注重讲解Encoder部分，在Encoder中又侧重讲解self-attention原理。为了读者更好地理解整个Transformer的训练过程，我决定结合代码写一篇在理解了Encoder部分怎么理解Decoder模块的博文。 参考文章：https://jalammar.github.io/illustrated-transforme...
Transformer系列：图文详解Decoder解码器原理
2401_85375186的博客
08-08 9649
理解Transformer的解码器首先要了解Encoder-Decoder框架。在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来解决，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。示意图如下。
【Transformer】Transformer 中的解码器：文本生成的魔术师
最新发布
qq_41466440的博客
07-10 171
模块作用防止看到未来 token对齐编码器的信息FFN增强每个 token 表达能力LayerNorm + 残差稳定训练，防止梯度消失堆叠结构逐层提升生成能力可以说，Transformer 的解码器层，就是大语言模型得以顺畅“说话”的秘密所在。如果没有它，我们今天就不会有 ChatGPT、Gemini 甚至是多模态 Sora 的流畅自然输出。
深度学习入门--Transformer中的Decoder详解
qq_15534667的博客
05-02 1万+
Transformer中的Decoder详解DecoderDecoder结构Masked训练与推断实现代码 Decoder 在上一节中，我们学习了Encoder的结果及实现代码： Transformer中的Encoder详解：Multi-Head-Attention及Feed-Forward 在这一节中，我们将学习Transformer剩余的部分：Decoder Decoder结构 DecoderDecoderDecoder的结构和EncoderEncoderEncoder类似，但是相较于EncoderE
Transformer 中 Decoder 结构解读_by 弘毅
热门推荐
chumingqian的博客
04-08 1万+
Transformer 中 Decoder 结构解读 DECODER D 的输出 一个 一个 产生的， decoder 中看到当前输入是 ， decoder 在前一个时间点的输出； decoder 会将自己的输出 当做接下来的 输入； 此时， 先暂时忽略 Decoder 中 来自 encoder 的输入； 训练的时候 误差 采用 minize cross entropy; 测试的时候 的 误差 BLUe score Masked self attention : 只考虑输入向量本身， 以及输入向量的
deep learning 13. transformer 代码详细解析之decoder
adowu
03-18 1969
开始的话： 从基础做起，不断学习，坚持不懈，加油。 一位爱生活爱技术来自火星的程序汪
Transformer 详解
12-15
Transformer 是一种用于自然语言处理任务的深度学习模型，它是由 Google 在 2017 年提出的。相比于传统的循环神经网络和卷积神经网络，Transformer 采用了全新的 Encoder-Decoder 架构，使用了自注意力机制（Self-Attention Mechanism）来处理输入序列，从而在机器翻译、文本摘要、对话生成等任务上取得了很好的效果。 Transformer 本质上是一个 Encoder-Decoder 架构，其中 Encoder 和 Decoder 都是由多个相同的层堆叠而成。每个层都包含了两个子层，分别是 Multi-Head Attention 和 Feed Forward Neural Network。其中 Multi-Head Attention 是 Transformer 的核心，它使用了自注意力机制来计算输入序列中每个词与其他词之间的关系，从而更好地捕捉上下文信息。 Transformer 的训练过程分为两个阶段：第一阶段是无监督的预训练，使用大量的无标注数据来训练模型；第二阶段是有监督的微调，使用有标注的数据来微调模型，使其适应特定的任务。 下面是一个简单的 Transformer 模型的实现代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class Transformer(nn.Module): def __init__(self, input_dim, hidden_dim, output_dim, num_layers, num_heads, dropout): super().__init__() self.embedding = nn.Embedding(input_dim, hidden_dim) self.encoder_layers = nn.ModuleList([EncoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)]) self.decoder_layers = nn.ModuleList([DecoderLayer(hidden_dim, num_heads, dropout) for _ in range(num_layers)]) self.fc_out = nn.Linear(hidden_dim, output_dim) self.dropout = nn.Dropout(dropout) self.scale = torch.sqrt(torch.FloatTensor([hidden_dim])).to(device) def forward(self, src, trg, src_mask, trg_mask): src_len, batch_size = src.shape trg_len, batch_size = trg.shape src_pos = torch.arange(0, src_len).unsqueeze(1).repeat(1, batch_size).to(device) trg_pos = torch.arange(0, trg_len).unsqueeze(1).repeat(1, batch_size).to(device) src = self.dropout((self.embedding(src) * self.scale) + src_pos) trg = self.dropout((self.embedding(trg) * self.scale) + trg_pos) for layer in self.encoder_layers: src = layer(src, src_mask) for layer in self.decoder_layers: trg = layer(trg, src, trg_mask, src_mask) output = self.fc_out(trg) return output ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值