三种位置编码Position Embedding

最新推荐文章于 2025-06-13 12:41:56 发布
最新推荐文章于 2025-06-13 12:41:56 发布
阅读量6.9k 收藏 10
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_56336619/article/details/117603258
本文探讨了位置编码在序列处理模型中的重要性，特别是在使用注意力机制的Transformer和BERT模型中。由于这些模型缺乏内在的位置信息处理能力，位置编码被用于提供序列上下文。介绍了三种位置编码方法：基于绝对位置的编码，Transformer采用的正弦余弦函数编码，以及BERT中训练可更新的位置向量。位置编码的选择和设计对于模型捕捉序列信息的效率至关重要。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.为什么要位置编码？

处理序列问题
对于传统CNN、RNN模型，因其处理机制模型本身已经具备很强的捕捉位置信息的特性，所以position embedding属于锦上添花

使用attention机制取代cnn、rnn的如transformer、bert模型，本身是一个n*n不包含任何位置信息的词袋模型
所以需要和字embedding 相加

2.三种位置编码方式

[1].基于绝对位置

计数

embedding = 0 , 1, ,2, 3

缺点：序列没有上界 ，与字embedding合并 数值变化过大 干扰模型

解决：使其有一定值域范围

why not 归一化 ：编码差异依赖于文本长度 ，不可！

[2].用三角函数构造相对位置关系编码

transformer采用的Sinusoidal位置编码

[3].使用随机值初始化的位置向量

Bert采用的是训练式，直接将位置编码当作可训练参数，位置向量矩阵随着训练过程一起更新

LLM - 位置编码 Position Embedding (Transformer/ViT/Swin/MAE) 源码实现
AGI
12-26 2525
Position Embedding(位置编码)，Transformer的位置编码，2i是偶数维度，2i+1是奇数维度，pos表示序列的位置，i是维度。
LeetCode - Google 大模型10题 第2天 Position Embedding(位置编码) 3题
AGI
02-05 1299
在 Transformer 架构中，位置编码(Position Embedding) 是辅助模型理解序列中元素顺序的关键机制。
Transformer模型：Postion Embedding实现
weixin_62472350的博客
07-13 1968
这是对上一篇WordEmbedding的续篇PositionEmbedding。
各种位置编码
薰珞婷紫小亭子的博客
11-08 4765
位置编码
Transformer：位置编码（Positional Encoding）
最新发布
Wei_sx的博客
06-13 577
位置编码是Transformer的关键设计之一，为模型提供了序列中元素的位置信息，弥补自注意力机制本身缺乏顺序感的缺陷。它采用基于正弦和余弦函数构造的周期性编码，简单高效，不需额外学习。如果你对位置编码的其他实现方式（比如可学习的位置编码）感兴趣，也可以告诉我！
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long(含NTK-aware简介)
热门推荐
结构之法 算法之道
10-27 6万+
关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题，我把另外两篇文章中关于这部分的内容抽取出来，并不断深入、扩展、深入，最终成为本文。
transformer-位置编码: Position Embedding
liu7418520963的博客
12-24 2082
（位置嵌入）用于在神经网络中为输入序列中的每个位置编码位置信息，以便模型能够识别输入元素的顺序，从而帮助模型更好地理解数据结构。例如，在模型中，输入数据通常是一个无序的序列。即使一个句子被分割成一系列单词或词向量后，模型无法直接感知这些词的顺序关系。而序列中的位置顺序可能对任务（如翻译、文本生成或分类）至关重要。因此，需要通过将位置信息显式地融入模型的输入中。位置编码能够提供一种的通用机制，使模型不仅能够理解绝对位置信息，还能捕获序列中元素的相对关系，从而提高序列处理能力。
几种常用的位置编码介绍及pytorch实现
消极的人永远是对的，积极的人选择勇往直前
07-29 3123
我借给你300块与你借给我300块具有完全不同的含义。对于Transformer模型来说，由于Attention模块的无序性(无法区分不同位置的Token)，必须加入额外的信息来记录顺序，这里引入了位置编码。位置编码从实现方式上大致可以分为2类:绝对位置编码: 将位置信息融入到输入中相对位置编码: 微调Attention结构，使其可以分辨不同位置的Token。
Transformer模型：Postion Embedding实现（Transformer 模型中位置编码（Position Embedding）的详细实现与实践）
Dreams°的博客
09-05 554
下面是一个详细的代码示例，展示了如何在 Transformer 模型中实现和应用位置编码。这个示例将使用 PyTorch，包含位置编码的实现、如何将位置编码集成到 Transformer 模型中，以及训练模型位置编码（Position Embedding）在 Transformer 模型中至关重要，因为它为序列中的每个位置添加了位置信息，使模型能够理解序列的顺序关系。不同于传统的循环神经网络（RNN），Transformer 通过位置编码将位置信息融入到每个词向量中，从而处理序列数据。位置编码的的完整代码。
Transformer中的相对位置编码(Relative Position Embedding)
chenf1995的博客
02-18 1万+
本篇preview：回顾transformer中绝对位置编码（absolute position embedding）相对位置编码方法详解和公式推导相对位置编码代码实现 回顾transformer中绝对位置编码（absolute position embedding） 在transformer的实现中，所有的input tokens是无序的，是没法像RNN的方法一样学到token之间的位置顺序关系，但是自然语言一定是有语序在里面的，所以原始的transformer的代码实现里就提供了一种非常简单的位置编码，
Position Embedding讲解
zys563488512的博客
08-29 830
Position Embedding是Transformer模型中用于解决单词顺序问题的重要组件。它通过为序列中的每个位置定义唯一的向量，并将这些向量与单词的嵌入向量相加，从而保留了单词的顺序信息。Position Embedding的实现方式灵活多样，可以根据具体任务的需求进行选择和优化。
position embedding
weixin_43390051的博客
04-20 1107
【转载】 关于Transformer中的position embedding 一文教你彻底理解Transformer中的positional encoding Transformer中position embedding的劣势： Transformer中的position embedding
Transformer模型中应用的各类位置编码
qq_41627642的博客
04-19 7437
六种位置编码的代码实现及性能实验 1、位置编码的意义 对于序列数据，目前存在三种主流的建模方式：卷积操作、循环操作和自注意力。其中，卷积和循环操作都具有局部性，即只作用目标元素的若干邻居上，而自注意力则是一种全局操作。具有局部性的操作，可以天然地注意到了元素间的相对位置；而注意力机制则是位置不敏感的·，即使调换序列中两个元素的位置对编码后的结果也不会产生影响。 因此，有必要将元素对应的位置信息添加到表示中，或者在计算注意力得分时考虑两个元素之间的相对位置。这些方法统称为位置编码，可以分为绝对位置.
几种常用的相对位置编码
YW_Vine的博客
11-02 3097
绝对位置编码 绝对位置编码一般形式的带绝对位置编码的Attention形式如下： {qi=(xi+pi)WQki=(xi+ki)WKvi=(xi+vi)WVai,j=softmax(qikjT)oi=∑jai,jvj \left\{ \begin{aligned} q_i & = &(x_i+p_i)W_Q \\ k_i & = & (x_i+k_i)W_K\\ v_i & = & (x_i+v_i)W_V\\ a_{i,j} & = & so
（pytorch进阶之路）四种Position Embedding的原理及实现
qq_19841133的博客
08-09 1万+
定义子函数，获得每个window中两两patch之间二维的位置偏差，使用torch.meshgrid函数，根据x轴和y轴范围得到网格每个点的x坐标和y坐标，将其堆叠，获取任何两个点之间的横轴与纵轴坐标的差值，扩维做差即可。假设width等于5，有5个patch，0，1，2，3，4，第一个patch[0]和最后边的patch距离是-4，最 后一个patch和最左边的距离是4，综上距离值域是[-4, 4]，个数是2 * 4 + 1，即。这里的table是随机初始化的，在模型中是可学习的。......
Transformer 模型中的 Position Embedding 实现
vvvae1234的博客
09-05 1084
Transformer 模型由 Vaswani 等人在2017年提出，旨在解决序列到序列的任务。其核心架构包括 Encoder 和 Decoder 两部分。Encoder 处理输入序列，而 Decoder 生成输出序列。Transformer 模型的注意力机制尤其出众，允许模型关注序列中的不同部分。接下来，我们构建一个简单的 Transformer Encoder 模型，使用三角函数位置编码方法。
Position Embedding 的解释及具体应用
qq_43613342的博客
11-13 2万+
Position Embedding 的解释及具体应用 这是我的第一篇博客，想把博客作为分享巩固自己学习感悟的地方。 最近做了一个要用到Position Embedding 的项目，于是就研究了一下。 词向量 词向量，顾名思义就是把每一个单词变成一个向量，以便于后续对文本进行处理，词向量在pytorch中是用nn.Embedding(n_letters + 1, dim)来实现的，这个函数相当定义了一个词向量矩阵，n_letters 是你文本中所有单词的个数，dim是你设置的词向量维数。为什么是max_s
Transformer的PE(position embedding),即位置编码理解
qq_44442727的博客
08-24 1万+
假设单词嵌入并且组成batch后，shape为(b,N,254)，N是序列最大长度，即最长的一句话包含的单词个数为N，254是每个单词的嵌入向量长度,b是batch，为了便于组成batch(不同训练句子单词个数肯定不一样)进行训练，可以简单统计所有训练句子的单词个数，取最大即可，假设统计后发现待翻译句子最长是10个单词，那么编码器输入是10x254,batch为1 则输入维度是（1，10，254）.假设某种语言的每个单词都可以嵌入成254个长度的向量，即一个单词的长度是254，
Position Embedding
05-20
Position Embedding 是指在 Transformer 模型中，为了引入序列信息，对输入的序列中每个位置进行编码，以便模型能够理解输入序列中的顺序关系。 具体来说，Position Embedding 通过将正弦函数和余弦函数的值拼接起来，生成一个位置矩阵，该位置矩阵与输入的词向量矩阵相加，生成包含位置信息的词向量矩阵。 通常情况下，Position Embedding 的维度要与词向量的维度相同。在训练过程中，Position Embedding 是可学习的，因此模型可以根据输入序列的长度来自适应地学习位置信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值