关于transformer的具体实现步骤

博客介绍了Transformer在NLP和CV领域输入形式的差异,重点阐述了在CV领域将二维图像变成一维的两种方案:直接分割和卷积分割。直接分割需用einops库调整shape,分块后通过全连接层映射为tokens;卷积分割用特定卷积操作,如Swin Transformer采用此方式且卷积后不加全连接层。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1.我们都知道transformer是在nlp中应用的,为此在nlp中的首先输入形式就是序列的形势。到了CV领域里面,图像是2维的,为此,我们需要将图像变成一维的,如何实现通常采用的是如下两种方案。一种是直接分割,一种是通过卷积核和步长都为patch大小的卷积来分割

1)直接分割

直接分割即把图像直接分成多块。在代码实现上需要使用einops这个库,完成的操作是将(B,C,H,W)的shape调整为(B,(H/P *W/P),P*P*C)。

from einops import rearrange, repeat
from einops.layers.torch import Rearrange
 
self.to_patch_embedding = nn.Sequential(
           Rearrange('b c (h p1) (w p2) -> b (h w) (p1 p2 c)', p1 = patch_height, p2 = patch_width),
           nn.Linear(patch_dim, dim),
      )

 

这里需要解释的是,一个括号内的两个变量相乘表示的是该维度的长度,因此不要把"h"和"w"理解成图像的宽和高。这里实际上h = H/p1, w = W/p2,代表的是高度上有几块,宽度上有几块。h和w都不需要赋值,代码会自动根据这个表达式计算,b和c也会自动对应到输入数据的B和C。

后面的"b (h w) (p1 p2 c)"表示了图像分块后的shape: (B,(H/P *W/P),P*P*C)

这种方式在分块后还需要通过一层全连接层将分块的向量映射为tokens。

在ViT中使用的就是这种直接分块方式。
 

2)卷积分割

卷积分割比较容易理解,使用卷积核和步长都为patch大小的卷积对图像卷积一次就可以了。

self.proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size)
 
x = self.proj(x).flatten(2).transpose(1, 2)  # B Ph*Pw C

 在swin transformer中即使用的是这种卷积分块方式。在swin transformer中卷积后没有再加全连接层。

Transformer 模型的核心是自注意力机制(Self-Attention Mechanism),它可以同时计算一个序列中所有位置的表示,并将这些位置的表示加权求和,得到每个位置的上下文表示。Transformer 模型由多个 Encoder 和 Decoder 层组成,其中 Encoder 用于编码输入序列,Decoder 用于生成输出序列。下面是 Transformer 模型的具体实现步骤: 1. 对输入序列进行嵌入(Embedding)操作,将每个词转换为一个 d 维的向量表示。 2. 在 Encoder 层中,使用多头自注意力机制(Multi-Head Self-Attention)对嵌入向量进行加权求和,得到每个位置的上下文表示。 3. 在 Encoder 层中,使用前馈神经网络(Feed-Forward Neural Network)对每个位置的上下文表示进行非线性变换,得到新的表示。 4. 在 Encoder 层中,使用残差连接(Residual Connection)将新的表示与原始输入向量相加,得到最终的 Encoder 输出。 5. 在 Decoder 层中,除了使用 Encoder 中的操作外,还需要使用多头注意力机制(Multi-Head Attention)对 Encoder 输出进行加权求和,并将其与嵌入向量进行拼接,得到每个位置的上下文表示。 6. 在 Decoder 层中,使用前馈神经网络对每个位置的上下文表示进行非线性变换,并使用残差连接将新的表示与原始输入向量相加。 7. 在 Decoder 层中,使用输出嵌入(Output Embedding)将每个位置的表示转换为一个词向量,用于生成输出序列。 8. 使用 Softmax 函数将输出序列中的每个位置转换为概率分布,选择概率最大的词作为生成的下一个词。 通过多个 Encoder 和 Decoder 层的堆叠,Transformer 模型可以处理更长的序列,并学习到更复杂的语义信息。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值