Transformer的PositionEncoding源代码解读

最新推荐文章于 2025-12-01 14:23:28 发布
原创 最新推荐文章于 2025-12-01 14:23:28 发布 · 607 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

trax是Google开源的深度学习库，基于Tensorflow和Jax，专注于简洁的端到端模型实现。文章介绍了Transformer模型中的PositionEncoding层，它是如何引入序列位置信息的，并展示了trax中PositionEncoding的实现代码，包括初始化和前向传播过程。

1. trax库了解一下

详细了解戳 trax

trax库是google开源的一个深度学习代码库，基于tensorflow, jax实现了主流的深度学习模型。市场上有这么多开源的深度学习模型实现库，为什么还要搞个trax呢？它的特点就是聚焦端到端的深度学习模型，主打的就是实现简洁，好理解。当然也可以用它来实现自己的模型，CPU、TPU、GPU都能支持，选择trax的源代码， 当然也是因为google对模型的实现正确性更有保证（这一点很重要，对于初学者，看到错误的实现不一定能识别出来）。

tranformer源代码地址：transformer

2. PositionEncoding在Transformer模型中的位置

这里上经典的tranformer架构图看一下，如下图，这个PositionEncoding在Encoder与Decoder的输入端都有使用，从图上看是PositionEncoding的输出与输入相加后做为Encoder-block与Decoder-block的输入， 实际的实现又是怎么做的呢？继续往下看。。。

3. PositionEncoding层的原理

位置编码是为了把序列的位置信息考虑进模型，在tranformer中，作者说因为模型不包含递归（如RNN）和卷积，所以加入PositionEncoding以利用序列的位置信息。

看一下原论文：Attention is all you need, 给出了以下两个公式：

 其中pos表示序列的位置，i代表维度(指嵌入维度，tranformer的嵌入维度是512，即dmodel是512，i的取值范围是0<= 2i < 2i + 1 <= 512， 这也就符合论文中说的函数波长从2π 到 10000 · 2π)。

从这个公式可以看出第0和1个嵌入维度位置函数周期是相同的，一个使用sin, 一个使用cos； 类推，第2，3个嵌入维度周期也是相同，波长按指数级扩大一些。。。

位置信息处理都有哪些方法呢？看一下new bing的回答，可以参考一下：

 

4. trax中PositionEncoding层的实现

最低0.47元/天 解锁文章
Transformer中的位置编码(Position Encoding)
AI天才研究院
07-12 850
Transformer中的位置编码(Position Encoding) Position Encoding in Transformer. Transformer中的自注意力机制无法捕捉位置信
Transformer中的position encoding(位置编码二)
左右-HPU
01-10 2446
本文依旧采用4*4大小的词嵌入模型，和模仿3*3大小的特征图进行解读——可学习编码 1.根据自己模型中的定义的最大特征图大小进而定义词嵌入模型大小。 假设模型中的特征图大小不超过4*4，那么我定义的词嵌入模型大小就为4*4，同正余弦编码一样，采用10维数据进行编码。生成行方向的词嵌入模型(4 ,10)，及生成列方向的词嵌入模型(4 , 10)，进而生成4*10的随机权重值并均匀分布在0-1之间。 row_embed = nn.Embedding(4, 10)#生成行方向词嵌入模型 col_embe.
关于transformer中关于位置编码position encoding的思考
Leezed525的博客
03-18 893
但是随之而来的问题是，随着序列长度的变化，序列中的相对距离也产生了变化，用简单地整型值来做位置编码，序列中的相对距离变化也是1 * 距离长度， 但是用当前这种方法，在面对不同长度的序列是，相对距离就不是固定的了。对于transformer中的位置编码，我对他一直有很多不解，但是也没有一直深挖下去，今天偶然看见一篇很好的文章，感触颇多，故在此记录一下，加深印象，同时分享。有一个最简单的思路来设计位置编码，那就是我按照顺序，一个一个加，L1我添加数值1作为其位置编码，L2我添加数值2作为位置编码，以此类推。
Transformer中的position encoding(位置编码一)
热门推荐
左右-HPU
12-25 1万+
本文主要讲解Transformer 中的 position encoding，在当今CV的目标检测最前沿，都离不开position encoding，在DETR，VIT，MAE框架中应用广泛，下面谈谈我的理解。 一般position encoding 分为 正余弦编码和可学习编码。 正余弦编码 .........
深度学习笔记--Transformer中position encoding的源码理解与实现
牵一只蜗牛去散步
11-16 1509
令：position = p，则position * div_term。分别取行数列和奇数列，就可以得到上图绿框所示的公式。2--源码分析与理解。
Transformer位置编码代码讲解
m0_50887824的博客
11-15 473
dim=1)后维度就是N*D，也就是对每个pos的token的每一个隐藏层维度都进行一个位置编码（其实位置编码要和词嵌入向量做加法来加入位置信息，我们知道词嵌入向量的维度是B*N*D，那么位置编码1*N*D才能做加法）torch.sin(scaled_time), torch.cos(scaled_time)的维度都是N*D/2（N是序列的最长长度，D是hidden_size），所以。(c,d)表示对矩阵的倒数第二个维度做padding操作，在原tensor的左侧pad c个，右侧pad d个。
Transformer中的Position Encoding
English_yang的博客
03-15 2305
主要记录一下Transformer中的Position Encoding，一些理解来自下面大佬的回答。 这里https://www.zhihu.com/question/347678607/answer/864217252 Transformer中的Position Encodeing： 思考： 首先一点，模型中引入位置信息是有必要的，在NLP领域，词序乃至句序稍微的发生改变，整个含义就会发生改变，这种改变就应该体现在最终的Embedding上。在意识到位置信息（不论是相对位置还是绝对位置）的重
【位置编码|Position】位置编码之---正余弦位置编码
胡侃有料的博客
02-19 1243
位置编码（Position Encoding）是自然语言处理（NLP）和其他序列模型（如 Transformer）的一个关键概念，用于为输入序列中的每个元素提供位置信息。在处理序列数据时，模型需要了解元素之间的相对位置，以便更好地理解上下文和顺序。周期是Tbaseid∗2πTbaseid∗2π，下图是d = 100,i = 10,不同base的情况随着base的增大，周期随之增加，这样重复的值就会少。
精选资源
Swing transformer Unet源代码，能直接运行
09-03
1. `src`目录：包含了模型的源代码，包括网络结构定义、训练脚本、数据预处理和后处理函数等。 2. `data`目录：可能存储了训练和验证数据集，可能包括标注文件，用于指导模型学习。 3. `config.py`：配置文件，定义...
Transformer模型源代码
07-23
在本篇文章中，我们将深入探讨Transformer的基本结构、工作原理以及`TRM.py`代码可能实现的关键部分。 1. **Transformer架构概述** Transformer模型主要由两个核心组件构成：编码器（Encoder）和解码器（Decoder）...
Positional-Encoding:带有单词嵌入的编码位置
05-18
位置编码 您只需要注意： : 不使用任何递归神经网络对句子进行编码。 相反，他们利用位置编码，然后注意。 在本文中，thay使用不同频率的正弦和余弦函数： P E(pos,2i) = sin(pos/10000**(2i/dmodel)) P E(pos,2i+1) = cos(pos/10000**(2i/dmodel)) 其中pos是位置，而i是尺寸。 即，位置编码的每个维度对应于正弦曲线。 波长形成从2π到10000·2π的几何级数。 我们选择此函数是因为我们假设它会允许模型轻松学习相对位置的参加，因为对于任何固定的偏移量k，P Epos + k都可以表示为P Epos的线性函数。 coder.py提供了一个有助于对位置/时间分量以及单词嵌入进行编码的类。 位置和单词嵌入都可以训练。 此类的编码输出必须通过自我关注层才能获得更好的结果。 句法 import torch im
精选资源
Vision Transformer项目源代码
02-04
Vision Transformer实现代码和预训练模型，主要包含以下网络： （1）jx_vit_base_patch16_224_in21k （2）jx_vit_base_patch32_224_in21k
pytorch transformer notebook 源代码
04-19
pytorch transformer notebook 源代码
Position Encoding：位置编码详解
weixin_48222697的博客
06-25 1213
摘要： Transformer模型因抛弃了传统RNN的顺序结构，需引入位置编码处理序列位置信息。绝对位置编码通过正弦/余弦函数为每个位置生成固定向量，与词向量相加。相对位置编码(如RoPE)则关注token间相对距离，通过旋转矩阵作用于注意力机制的Q/K向量，实现位置信息嵌入。RoPE具有周期性旋转特性，支持长度扩展，相比绝对位置编码更贴合语言特征，被应用于LLaMA等模型。两种编码方式各有优势，是Transformer架构处理序列任务的关键组件。
位置编码Positional Encoding
fb_941219的博客
03-23 7884
摘抄自这里。在以前的模型中，NLP的每个Sequence都是一个token一个token的输入到模型当中。比如有一句话是“我喜欢吃洋葱”，那么输入模型的顺序就是“我”，“喜”，“欢“，”吃“，”洋“，”葱”，一个字一个字的。上面的输入方式其实就引入了一个问题。一个模型每次只吃了一个字，那么模型只能学习到前后两个字的信息，无法知道整句话讲了什么。为了解决这个问题，Transformer模型引用了Self-attention来解决这个问题。
对 Transformer 中位置编码 Position Encoding 的理解
BIT_Legend的博客
03-26 2786
位置编码 | PositionEncoding | Sinusoidal 位置编码 | RoPE 位置编码 | ALiBi 位置编码
【位置编码】【Position Encoding】位置编码的理解
weixin_63458260的博客
06-05 986
针对于NLP等文字处理任务而言，为了更接近实际现实情况，在处理词向量的时候，我们要给词向量添加一些有关位置的信息。不同于循环神经网络RNN的天然富有序列位置前后信息的结构，将一个序列中的词向量拼接成一个矩阵，一次性输入到网络结构中进行处理，这也就决定了Transformer结构是天然缺乏位置信息的。因此，我们要人为地为Transformer的输入添加位置信息，即位置编码。
Transformer - Positional Encoding 位置编码 代码实现
二分掌柜的
04-02 680
Transformer
【水果识别系统】Python+TensorFlow+Django+人工智能+深度学习+卷积神经网络算法
最新发布
子午的博客
12-01 491
水果识别系统，基于TensorFlow搭建Resnet50卷积神经网络算法，通过对5种常见的水果图片数据集（‘圣女果’, ‘梨’, ‘芒果’, ‘苹果’, ‘香蕉’）进行训练，最后得到一个识别精度较高的模型，然后搭建Web可视化操作平台。技术栈项目前端使用Html、CSS、BootStrap搭建界面。后端基于Django处理逻辑请求基于Ajax实现前后端数据通信选题背景与意义。
transformer论文源代码
06-20
### Transformer论文实现的源代码与GitHub代码库 Transformer作为一种革命性的模型结构，已在自然语言处理（NLP）和计算机视觉（CV）领域取得了显著成果。以下是几个与Transformer论文相关的开源实现及其GitHub代码库： #### 1. TensorFlow实现 TensorFlow官方提供了Transformer的完整实现，包含训练和推理脚本，适合初学者和研究者深入理解模型机制[^2]。 ```python import tensorflow as tf from tensor2tensor.models import transformer # 初始化Transformer模型 model = transformer.Transformer() ``` 相关GitHub仓库链接：[https://github.com/tensorflow/tensor2tensor](https://github.com/tensorflow/tensor2tensor) #### 2. PyTorch实现 PyTorch社区也提供了高质量的Transformer实现，其中OpenNMT-py是一个广泛使用的开源项目，支持多种翻译任务，并且代码结构清晰易懂[^2]。 ```python import torch from onmt.models.transformer import TransformerEncoder, TransformerDecoder # 定义编码器和解码器 encoder = TransformerEncoder(...) decoder = TransformerDecoder(...) ``` 相关GitHub仓库链接：[https://github.com/OpenNMT/OpenNMT-py](https://github.com/OpenNMT/OpenNMT-py) #### 3. MXNet实现 对于使用MXNet框架的研究者，Sockeye项目提供了Transformer的高效实现，特别适合大规模数据集上的机器翻译任务。 ```python from sockeye.model import TransformerModel # 加载Transformer模型 model = TransformerModel(...) ``` 相关GitHub仓库链接：[https://github.com/awslabs/sockeye](https://github.com/awslabs/sockeye) #### 4. Vision Transformer (ViT) 实现 如果对视觉领域的Transformer感兴趣，可以参考Vision Transformer（ViT）的实现代码库。以下是一个基于PyTorch的ViT实现示例[^3]： ```python import torch from vit_pytorch import ViT # 定义Vision Transformer模型 model = ViT( image_size=256, patch_size=32, num_classes=1000, dim=1024, depth=6, heads=16, mlp_dim=2048 ) ``` 相关GitHub仓库链接：[https://github.com/lucidrains/vit-pytorch](https://github.com/lucidrains/vit-pytorch) #### 5. Swin Transformer实现 Swin Transformer是另一种先进的视觉Transformer架构，适用于图像分类、目标检测等任务。以下为其实现代码示例[^4]： ```python import torch from swin_transformer import SwinTransformer # 定义Swin Transformer模型 model = SwinTransformer( img_size=224, patch_size=4, in_chans=3, num_classes=1000, embed_dim=96, depths=[2, 2, 6, 2], num_heads=[3, 6, 12, 24] ) ``` 相关GitHub仓库链接：[https://github.com/microsoft/Swin-Transformer](https://github.com/microsoft/Swin-Transformer) ### 注意事项 在选择具体实现时，请根据实际需求（如框架偏好、任务类型）进行筛选。同时，建议结合理论知识与代码实现，逐步深入理解Transformer的工作原理。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值