Transformer模型-7- Decoder

原创 已于 2024-10-06 16:57:28 修改 · 1.5k 阅读 · 14 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能 #语言模型 #算法 #目标检测 #神经网络

于 2024-09-21 11:55:03 首次发布

概述

image.png

Decoder也是N=6层堆叠的结构，每层被分3层: 两个注意力层和前馈网络层，同Encoder一样在主层后都加有Add&Norm，负责残差连接和归一化操作。

Encoder与Decoder有三大主要的不同：

  1. 第一层 Masked Multi-Head Attention: 采用Masked操作
  2. 第二层 Multi-Head Attention: K, V矩阵是使用Encoder编码信息矩阵C进行计算，而Q使用上一个Decoder的输出计算。
  3. 概率计算输出: Linear和Softmax作用于前向网络层的输出后面，来预测对应的word的probabilities

Encoder的输入矩阵用X表示，输出矩阵用C表示

流程图表示如下：

Positional Encoding特征值Output Embedding带掩码的多头注意力层多头注意力层前馈网络层Add&NormLinearSoftmaxOutputProbilities

分析如下：

  1. 我们将 输入转换为嵌入矩阵，再加上位置编码，输入解码器
  2. 解码器收到输入，将其发送给带掩码的多头注意力层，生成注意力矩阵M
  3. 将注意力矩阵M和Encoder输出的特征值R作为多头注意力层的输入，输出第二层注意力矩阵
  4. 从第二层的多头注意力层得到注意力矩阵，送入前馈网络层，后者将解码后的特征作为输出
  5. 前馈网络层的输出经过Add&Norm后，做linear及Softmax回归，并输出目标句子的特征

Decoder 的输入

Decoder的输入结构与encoder的一样。

见Transformer模型-4-Inputs-笔记

Masked Multi-Head Attention

输入组成

由如下几个部分组成

1.初始输入：前一时刻Decoder输入+前一时刻Decoder的预测结果 + Positional Encoding
3.中间输入：Encoder Embedding
4.Shifted Right：在输出前添加 起始符(Begin)，方便预测第一个Token

Shifted Right是在起始位添加起始符(Begin)，让整个输入向后移一位，是为了在T-1时刻需要预测T时刻的输出。

举例: I like eat hamburg

正常的输出序列位置关系如下：

1  0："I"
2
最低0.47元/天 解锁文章
DA树聚
关注
Transformer的矩阵维度分析和Mask详解
我最怜君中宵舞的博客
09-29 3万+
文章目录Multi-Head attention中矩阵维度的变化Transfromer的训练过程Transformer的句子生成过程Maskmask矩阵对K进行mask对Q进行maskMasked Multi-Head Attention中的Mask mask时Transformer中很重要的一个概念，mask操作的目的有两个： 让padding(不够长补0)的部分不参与attention操作 ...
【深度学习】(4) Transformer 中的 Decoder 机制，附Pytorch完整代码
博观而约取，厚积而薄发
06-29 4807
大家好，今天和各位分享一下 Transformer 中的 Decoder 部分涉及到的知识点：计算 self-attention 时用到的两种 mask。本文是对前两篇文章的补充，强烈建议大家先看一下：1.《Transformer代码复现》：https://blog.youkuaiyun.com/dgvv4/article/details/1254916932.《Transformer中的Encoder机制》：https://blog.youkuaiyun.com/dgvv4/article/details/125507206本节
编码器-解码器模型（Encoder-Decoder)
极光喵的博客
03-10 1万+
Encoder-Decoder算法是一种深度学习模型结构，广泛应用于自然语言处理（NLP）、图像处理、语音识别等领域。它主要由两部分组成：编码器（Encoder）和解码器（Decoder）。如图1所示，这种结构能够处理序列到序列（Seq2Seq）的任务，如机器翻译、文本摘要、对话系统、声音转化等。图1 编码器-解码器结构文本摘要是一种将长文本压缩成短文本的任务，其中Encoder-Decoder模型通常用于生成一个摘要句子。
Transformer模型详解05-Decoder 结构
月流霜的专栏
06-17 878
模型由编码器（Encoder）和解码器（Decoder）两部分组成。这里我会着重描述解码器的结构以及在预训练、输入输出和预测时的输入输出。解码器自注意力层（Self-Attention Layers）：与编码器类似，解码器也包含多个自注意力层，用于在解码器端对输出序列的不同位置进行关注，解码器中的自注意力层被修改为接受一个遮盖（masking）向量，以便在计算注意力权重时将未来的信息屏蔽掉，只关注当前位置之前的信息。。
Transformer模型-5-Multi-Head Attention
aidashuju的博客
09-20 1546
所谓多头，是分别将线性的变换之后的QKV切分为H份，然后对每一份进行后续的self-attention操作。最后再连接并做线性回归产生输出。如下图：观察上图的多头注意力结构的中间的Scaled Dot-Product Attention(点积自注意力)，我们可以把拆为理解为高维向量被拆分为H分低维向量，并在H个低维空间里求解各自的self-Attention。多头注意力的理解代码层面: 把原始的维度切成H份，假如h=8(切成8份)，每份则为512/8=64。在每个64维做相关度(即相乘)计算。
Encoder-only，Encoder-Decoder，和 Decoder-only 模型
祖国翔的博客
03-27 804
虽然Transformer 论文Attention Is All You Need 为了翻译任务使用了transformer的编码器和解码器部分，但你可以将这些组件拆分开来进行架构的变化。仅有编码器的模型也可以作为序列到序列模型，编码器-解码器模型，仅有解码器的模型（如今是最常用的之一）。
Transformer Decoder-Only 参数量计算
jzwei023的博客
05-11 1133
Transformer 的假设d_attn = d_model，d_ff = 4 × d_model参数定义：d_mdole：模型维度；n_layer：层数；d_attn：注意力输出维度；d_ff：前馈网络维度；n_ntx：最大上下文长度（token）n_head：注意力头数n_vacab：词汇表大小。
Transformer模型-1-概述、核心部件及应用场景
aidashuju的博客
09-14 2333
Transformer模型是由谷歌公司提出的一种基于自注意力机制的神经网络模型，用于处理序列数据。相比于传统的循环神经网络模型，Transformer模型具有更好的并行性能和更短的训练时间，因此在自然语言处理领域中得到了广泛应用。
Transformer Decoder
热门推荐
weixin_42418688的博客
11-15 1万+
本文主要讲解Transformer中的Decoder部分，后续其他部分会逐渐补充 首先，我们先定义几个常用的变量（以翻译为例）： emb_dim:表示词嵌入的维度 input_length:表示输入单词的个数 target_length:表示翻译出单词的个数 + 1，为什么会加1会在后面详细说明 vocab_size:表示所有单词的总个数，其实就是词库的意思 本文主要从以下三个方面进行介绍： 1.transformer主要解决的的问题 2.信息在transformer中的流动 3.Deco
Transformer系列：图文详解Decoder解码器原理
2401_85327249的博客
06-03 3344
在原论文中Transformer用于解决机器翻译任务，机器翻译这种Seq2Seq问题通常以Encoder-Decoder框架来进行建模，Transformer的网络结构也是基于encoder-decoder框架设计的。这种框架的模型分为两部分编码器Encoder和解码器Decoder，编码器负责将原文本数据编码为中间状态向量，该状态向量传递给解码器生成输出。
Transformer——decoder
weixin_42596778的博客
11-26 1259
在介绍之前，我们先来说一下。
【MindSpore易点通】Transformer的编码和解码
xi_xiyu的博客
09-09 2227
Decoder结构图中蓝框部分为Transformer的Decoder block结构，包含两个Multi-Head Attention层。第一个Multi-Head Attention层采用了Masked操作。第二个Multi-Head Attention层的K, V矩阵使用 Encoder 的编码信息矩阵C进行计算，而Q使用上一个 Decoder block 的输出计算。最后有一个 Softmax 层计算下一个翻译单词的概率。
人人都能听懂的大白话 Transformer 技术原理
musicml的博客
02-14 2060
▼最近直播超级多，预约保你有收获今晚直播：《开发框架应用案例实战》—1—Transformer 网络架构剖析几乎所有主流的大模型都是基于 Transformer 网络架构构建的，Transformer 的重要性不言而喻。大模型可以类比人类的大脑，那么 Transformer 就可以类比人类大脑中的神经网络结构。Transformer 网络结构最核心的组成部分为：编码器（Encoder）和解码器（...
理解Transformer中mask操作
lixiao2112924629的博客
06-16 4766
理解深度学习中transformer结构的mask操作
Transformer编码器-解码器（Encoder-Decoder）架构介绍+代码实现
weixin_41686431的博客
03-26 7889
Transformer的编码器-解码器是基于自注意力的模块叠加而成的，源序列（Input）和目标序列（Target）的嵌入（Embedding）表示将加上位置编码（Positional encoding）,再分别输入到编码器和解码器中。从宏观角度来看，Transformer的编码器是由多个相同的层叠加而 成的，每个层都有两个子层（子层表示为sublayer第一个子层是多头自注意力（汇聚；第二个子层是基于位置的前馈网络（具体来说，在计算编码器 的自注意力时，查询、键和值都来自前一个编码器层的输出，
详细解释transformer架构、Encoder和Decoder都是用6层堆叠而成，为什么不是其他的层
强化学习曾小健
01-22 2094
以下是 Transformer 的整体结构（文字表示）：复制。
#到底什么是大模型Attention机制
通往IT大道的专栏
09-23 1130
上文所举的机器翻译的例子里，因为在计算Attention的过程中，Source中的Key和Value合二为一，指向的是同一个东西，也即输入句子中每个单词对应的语义编码，所以可能不容易看出这种能够体现本质思想的结构。在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是对应的翻译出的中文句子，Attention机制发生在Target的元素Query和Source中的所有元素之间。
AI学习记录 - transformers的decoder和encoder中的自注意力矩阵和掩码矩阵的数据处理
weixin_43954090的博客
08-15 694
在实际计算的过程中，掩码不仅仅只是生成一半就可以了，我都知道GPT其实有限制token长度这一说法，假如限制50个token，我们最后生成的注意力矩阵就是长宽都是50个，但是当我们的句子不够50的时候，剩下的位置需要用指定字符去填充。
transformer模型encoder-decoder代码
最新发布
11-15
以下是一个使用 PyTorch 实现的简单 Transformer Encoder - Decoder 模型的代码示例： ```python import torch import torch.nn as nn # 定义 Transformer Encoder - Decoder 模型 class TransformerModel(nn.Module): def __init__(self, d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward): super(TransformerModel, self).__init__() # 定义 Encoder 层 encoder_layer = nn.TransformerEncoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward, dropout=0.0) # 定义 Encoder self.transformer_encoder = nn.TransformerEncoder(encoder_layer, num_layers=num_encoder_layers) # 定义 Decoder 层 decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead, dim_feedforward=dim_feedforward, dropout=0.0) # 定义 Decoder self.transformer_decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_decoder_layers) # 定义线性层用于输出 self.fc = nn.Linear(d_model, d_model) def forward(self, src, tgt): # 通过 Encoder 处理输入序列 memory = self.transformer_encoder(src) # 通过 Decoder 处理目标序列和 Encoder 的输出 output = self.transformer_decoder(tgt, memory) # 通过线性层得到最终输出 output = self.fc(output) return output # 初始化模型参数 d_model = 512 nhead = 8 num_encoder_layers = 6 num_decoder_layers = 6 dim_feedforward = 2048 # 创建模型实例 model = TransformerModel(d_model, nhead, num_encoder_layers, num_decoder_layers, dim_feedforward) # 模拟输入数据 src = torch.randn(10, 32, d_model) # 输入序列，形状为 (序列长度, 批次大小, 特征维度) tgt = torch.randn(10, 32, d_model) # 目标序列，形状为 (序列长度, 批次大小, 特征维度) # 前向传播 output = model(src, tgt) print(output.shape) ``` 在上述代码中，首先定义了一个 `TransformerModel` 类，该类继承自 `nn.Module`。在类的初始化方法中，定义了 Transformer 的 Encoder 和 Decoder 部分，以及一个线性层用于输出。在 `forward` 方法中，实现了模型的前向传播过程，即先通过 Encoder 处理输入序列，然后将 Encoder 的输出作为记忆传递给 Decoder，最后通过线性层得到最终输出。最后，模拟了输入数据并进行了前向传播，打印出输出的形状。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值