Transformer位置表示(Position Encoding)

原创 已于 2024-02-19 20:57:53 修改 · 558 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大模型 #位置表示

于 2024-02-19 20:57:18 首次发布
本文探讨了在深度学习模型中，特别是在CNN、RNN和Self-Attention中，位置表示的重要性。绝对位置表示如BERT的使用存在局限性，而相对位置编码（RoPE）如进制编码提供了更好的扩展性和表示能力。文中还介绍了如何通过线性内插和NTK-aware方法来增强位置表示的灵活性和性能.

为什么需要位置表示

对比CNN、RNN和Self-Attention:

CNN处理相邻窗口的内容；RNN天然是序列操作，考虑了位置先后关系；Self-Attention的计算时是无序的，所以需要位置表示来知道Token之间的位置信息。

绝对位置表示

典型如：Bert/Roberta/GPT2的位置表示，将位置如 0～512 像词一样做embedding，需要训练position向量矩阵

不同模型训练出来的位置表示之间的相似性，对角线是1

优势：简单

劣势：无法处理超出长度的句子，必须截断

相对位置表示

位置n的旋转位置编码（RoPE），本质上就是数字n的β进制编码！- 苏剑林

为什么需要进制编码？我们先看进制编码的格式：

最低0.47元/天 解锁文章
wendaJ
关注
自然语言处理基础知识入门(四) Transformer模型的positional encoding位置编码详解
WANGYANG的博客
05-05 2410
提示：本章节旨在补充和扩展自然语言处理基础知识入门(四)中关于Transformer模型的位置编码（positional encoding）的讨论，提供更深入的解析以助于对该概念的整体理解。参考了这两篇博文Vaswani等人推出了Transformer架构，这是一款创新的、基于纯注意力机制的序列到序列架构。其出色的并行训练能力与性能提升，使其迅速在自然语言处理（NLP）领域以及最新的计算机视觉（CV）研究中获得了广泛的认可和应用。
第十章（3）：Transformer之Positional encoding
安静到无声
10-27 2731
我在学习NLP的时候，围绕着我不懂得技术点，逐个击破，以此期望能够把各个模块理解的更深入，使我在今后的学习中，能够更深入的分析，让自己更通透。接下来切入正题，介绍下Transformer中需要使用的Positional encoding，它主要为Transformer这种并行计算模型，难以理解输入句子的语序而针对性设计的。
Transformer中的position encoding(位置编码一)
热门推荐
左右-HPU
12-25 1万+
本文主要讲解Transformer 中的 position encoding，在当今CV的目标检测最前沿，都离不开position encoding，在DETR，VIT，MAE框架中应用广泛，下面谈谈我的理解。 一般position encoding 分为 正余弦编码和可学习编码。 正余弦编码 .........
Transformer中的Position Encoding
English_yang的博客
03-15 2307
主要记录一下Transformer中的Position Encoding，一些理解来自下面大佬的回答。 这里https://www.zhihu.com/question/347678607/answer/864217252 Transformer中的Position Encodeing： 思考： 首先一点，模型中引入位置信息是有必要的，在NLP领域，词序乃至句序稍微的发生改变，整个含义就会发生改变，这种改变就应该体现在最终的Embedding上。在意识到位置信息（不论是相对位置还是绝对位置）的重
transformer中的positioning encoding
Abraham Ben
08-30 763
如果不加positioning encoding, transformer效果会差很多。常见的encoding方式有以下几种: 1. 再输入时加固定的encoding 典型的就是Attention Is All You Need中的方法。具体解释不多说，直接放代码: import math import torch def positionalencoding1d(d_model, length): """ :param d_model: dimension of the model
Transformer模型详解02-Positional Encoding（位置编码）
liaomin416100569的专栏
04-29 4924
文章目录什么是位置编码连续有界为什么要有界为什么要连续位置编码的演变用整型值标记位置用[0,1]范围标记位置用二进制向量标记位置用周期函数（sin）来表示位置sin函数周期振幅，相移，垂直位移频率波长sin表示位置用sin和cos交替来表示位置线形变换——旋转sin和cos交替表示位置Transformer中位置编码方法Transformer 位置编码定义Transformer位置编码可视化 什么是位置编码 在transformer的encoder和decoder的输入层中，使用了Positional E
Transformer中的位置编码（PE，position）
Beryl的博客
02-21 2647
参考链接 https://blog.youkuaiyun.com/Flying_sfeng/article/details/100996524 https://blog.youkuaiyun.com/u012526436/article/details/86295971 transformer模型是当前大红大热的语言模型，今天要讲解的是transformer中的positional encoding(位置编码)。 我们知道，transformer模型的attention机制并没有包含位置信息，即一句话中词语在不同的位置时在.
Transformer中的position encoding(位置编码二)
左右-HPU
01-10 2450
本文依旧采用4*4大小的词嵌入模型，和模仿3*3大小的特征图进行解读——可学习编码 1.根据自己模型中的定义的最大特征图大小进而定义词嵌入模型大小。 假设模型中的特征图大小不超过4*4，那么我定义的词嵌入模型大小就为4*4，同正余弦编码一样，采用10维数据进行编码。生成行方向的词嵌入模型(4 ,10)，及生成列方向的词嵌入模型(4 , 10)，进而生成4*10的随机权重值并均匀分布在0-1之间。 row_embed = nn.Embedding(4, 10)#生成行方向词嵌入模型 col_embe.
【工大SCIR笔记】浅谈Transformer模型中的位置表示
zenRRan的博客
05-05 1878
作者：哈工大SCIR 徐啸0. 何为位置信息首先简单谈一下位置信息。一般将位置信息简单分为绝对位置信息和相对位置信息，并且前者对句子语义的影响不大，更为重要的是后者。以情感分析(Sen...
transformer-位置编码: Position Embedding
liu7418520963的博客
12-24 2273
（位置嵌入）用于在神经网络中为输入序列中的每个位置编码位置信息，以便模型能够识别输入元素的顺序，从而帮助模型更好地理解数据结构。例如，在模型中，输入数据通常是一个无序的序列。即使一个句子被分割成一系列单词或词向量后，模型无法直接感知这些词的顺序关系。而序列中的位置顺序可能对任务（如翻译、文本生成或分类）至关重要。因此，需要通过将位置信息显式地融入模型的输入中。位置编码能够提供一种的通用机制，使模型不仅能够理解绝对位置信息，还能捕获序列中元素的相对关系，从而提高序列处理能力。
Transformer 模型中的 Position Embedding 实现
vvvae1234的博客
09-05 1273
Transformer 模型由 Vaswani 等人在2017年提出，旨在解决序列到序列的任务。其核心架构包括 Encoder 和 Decoder 两部分。Encoder 处理输入序列，而 Decoder 生成输出序列。Transformer 模型的注意力机制尤其出众，允许模型关注序列中的不同部分。接下来，我们构建一个简单的 Transformer Encoder 模型，使用三角函数位置编码方法。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1569
参考 [小学生也能听得懂的大模型 Transformer 1]
一文搞懂Transformer中的位置编码Positional Encoding
baidu_33000721的博客
04-09 2367
Transformer中Positional Encoding的思考
Transformer的PE(position embedding),即位置编码理解
qq_44442727的博客
08-24 1万+
假设单词嵌入并且组成batch后，shape为(b,N,254)，N是序列最大长度，即最长的一句话包含的单词个数为N，254是每个单词的嵌入向量长度,b是batch，为了便于组成batch(不同训练句子单词个数肯定不一样)进行训练，可以简单统计所有训练句子的单词个数，取最大即可，假设统计后发现待翻译句子最长是10个单词，那么编码器输入是10x254,batch为1 则输入维度是（1，10，254）.假设某种语言的每个单词都可以嵌入成254个长度的向量，即一个单词的长度是254，
Vision Transformer(二)：位置嵌入向量
tecsai的博客
02-06 2099
Transformer 模型中的位置嵌入（position embedding）是一种机制，用来给模型提供关于序列中各个元素位置的信息。在原始的 Transformer 模型中，这是必要的，因为模型的主要构建块（如自注意力层）本身并不具备处理序列中元素位置关系的能力。
【初理解】Transformer中的Positional Encoding
顾道长生的科研笔记
10-31 2407
文章目录泰勒展开浅显解读 首先，给出文章中的公式解读： {pk,2i=sin⁡(k/100002i/d)pk,2i+1=cos⁡(k/100002i/d) \left\{\begin{array}{l} \boldsymbol{p}_{k, 2 i}=\sin \left(k / 10000^{2 i / d}\right) \\ \boldsymbol{p}_{k, 2 i+1}=\cos \left(k / 10000^{2 i / d}\right) \end{array}\right. {pk.
面经：什么是Transformer位置编码？
python123456_的博客
08-29 1097
过去的方法总有这样或者那样的不好，所以Transformer对于位置信息的编码做了改进。
Transformer系列：快速通俗理解Transformer的位置编码
2401_84494441的博客
06-16 1930
将[我，爱，你]输入一组Q，K，V组成的Self-Attention产出的向量，和[你，爱，我] 输入同一组Q，K，V组成的Self-Attention产出的向量，两者的结果每个词/字的embedding输出一致，仅仅是在矩阵的位置调换了一下（1和3对调）。设置max_len为每个句子的最大长度为50，d_emb为每个词的embedding的维度为256，最终得到一个[50, 256]的位置编码矩阵，每一行代表一个位置的位置编码结果，每一列代表某个词在某个位置编码分量上的值。
Transformer中position encoding实践
qq_42282231的博客
06-27 1162
对position encoding部分实践
Transformer中的position encoding公式
最新发布
07-03
在Transformer模型中，位置编码（Positional Encoding）是用于引入序列中词的位置信息的一种机制。由于Transformer采用的是并行计算方式，不像RNN那样自然保留顺序信息，因此需要通过位置编码显式地将位置信息注入输入中[^3]。 ### Positional Encoding的公式 Transformer论文《Attention Is All You Need》中提出了一种基于正弦和余弦函数的**Sinusoidal Positional Encoding**方法，其核心思想是使用不同频率的正弦和余弦函数来表示不同的位置。具体公式如下： 对于位置 $ \text{pos} $ 和维度 $ i $，定义为： $$ PE_{(pos, 2i)} = \sin\left(\frac{\text{pos}}{10000^{2i/d_{\text{model}}}}\right) $$ $$ PE_{(pos, 2i+1)} = \cos\left(\frac{\text{pos}}{10000^{2i/d_{\text{model}}}}\right) $$ 其中： - $ \text{pos} $ 是词在序列中的位置； - $ i $ 是向量的维度索引（从0到 $ d_{\text{model}} - 1 $）； - $ d_{\text{model}} $ 是词嵌入向量的维度； - 偶数维度使用正弦函数，奇数维度使用余弦函数。 这种设计使得每个位置对应一个唯一的波形，且具有周期性特征，可以很好地捕捉相对位置关系[^2]。 ### 公式的实现代码示例 以下是一个用PyTorch实现的Positional Encoding函数： ```python import torch import math def positional_encoding(max_len, d_model): pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) return pe.unsqueeze(0) # 增加batch维度 ``` 该函数生成了一个形状为 `(1, max_len, d_model)` 的位置编码矩阵，可以直接与词嵌入相加作为模型输入。 ### 为什么使用三角函数？ 使用正余弦函数的原因包括： - **周期性**：可以表达词之间的相对位置关系； - **唯一性**：不同频率的组合确保了不同位置编码的唯一性； - **可扩展性**：即使在训练过程中未见过的长度也能合理外推。 ### 总结 Positional Encoding在Transformer中扮演着至关重要的角色，它弥补了自注意力机制无法感知位置信息的缺陷。通过上述公式的应用，模型能够有效地区分不同位置的词，并利用它们之间的相对位置关系进行建模。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值