Transformer之Positional Encoding

最新推荐文章于 2025-06-13 12:41:56 发布
原创 最新推荐文章于 2025-06-13 12:41:56 发布 · 574 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

文章介绍了Transformer模型如何通过在输入嵌入中添加位置编码来处理序列中的单词顺序，展示了不同编码方式（如Tensor2Tensor实现的交织方法），强调了这种技术对于处理变长序列的重要性。

Representing The Order of The Sequence Using Positional Encoding

正如我们到目前为止所描述的那样，模型中缺少的一件事是解释输入序列中单词顺序的方法。

为了解决这个问题，transformer 在每个输入嵌入中添加一个矢量。这些向量遵循模型学习的特定模式，这有助于它确定每个单词的位置，或序列中不同单词之间的距离。这里的直觉是，将这些值添加到嵌入中，一旦它们投射到Q/K/V矢量中，并在点积 attention 期间，嵌入向量之间会提供有意义的距离。
为了让模型了解单词的顺序，我们添加了位置编码向量
如果我们假设嵌入的维数为4，那么实际的位置编码将是这样的
在这里插入图片描述
这个模式会是什么样子呢？

在下面的图中，每一行对应一个向量的位置编码。所以第一行就是我们对输入序列中第一个单词的嵌入加上的向量。每行包含512个值，每个值在1到-1之间。我们对它们进行了颜色编码，这样图案就可以看到了。
20个单词(行)的位置编码的真实示例，嵌入大小为512(列)。你可以看到它似乎从中心一分为二。这是因为左半部分的值是由一个函数(使用正弦)生成的，右半部分是由另一个函数(使用余弦)生成的。然后将它们连接起来形成每个位置编码向量
本文描述了位置编码的公式(第3.5节)。您可以在 get_timing_signa

最低0.47元/天 解锁文章
第十章（3）：Transformer之Positional encoding
安静到无声
10-27 2727
我在学习NLP的时候，围绕着我不懂得技术点，逐个击破，以此期望能够把各个模块理解的更深入，使我在今后的学习中，能够更深入的分析，让自己更通透。接下来切入正题，介绍下Transformer中需要使用的Positional encoding，它主要为Transformer这种并行计算模型，难以理解输入句子的语序而针对性设计的。
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 位置编码（positional_encoding）
大模型与Agent智能体
09-12 945
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 位置编码（positional_encoding） 目录 NLTK自然语言工具包NLTK数据集位置编码（Positional encoding）Adding positional encoding to the embedding vector星空智能对话机器人系列博客 NLTK自然语言工具包 NLTK是构建Python程序以处理人类语言数据的领先平台。它为50多个语料库和词汇资源（如WordNet）提供了易于使用的界面，
【Transformer系列】深入浅出理解Positional Encoding位置编码
IT菜鸟
09-14 4万+
【Transformer系列】深入浅出理解Positional Encoding位置编码
transformer学习笔记：Positional Encoding（位置编码）
weixin_48799576的博客
09-03 5846
对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。
transformer位置编码最详细的解析
lansebingxuan的专栏
09-05 1495
这种方法的问题是，不仅值可能变得非常大，而且我们的模型可能面临比训练中的句子更长的句子。此外，我们的模型可能不会看到具有特定长度的任何样本，这会影响我们模型的泛化能力。由于Transformer中的嵌入是从头开始训练的，参数可能设置为词的语义不会存储在前几个维度中，以避免干扰位置编码。由于句子中的每个词语同时通过Transformer的编码器/解码器堆栈，模型本身对于每个词语的位置/顺序没有任何概念。为了使模型具有一定的顺序感，一种可能的解决方案是为每个词语添加关于其在句子中位置的信息。
Transformer：Positional Encoding
MrJoice的博客
04-18 1421
目录一、为什么需要位置编码？1.1 问题背景1.2 深层分析1.2.1 丧失顺序信息1.2.2 语义信息的丢失1.2.3 无法区分长短依赖1.2.4 模型的性能下降1.3 Solution二、位置编码长什么样三、具体数值例子四、这样做的好处是什么？4.1 Why？4.2 如何实现推断更长序列的能力？4.3 举个例子五、位置编码是怎么加进去的？六、相对 vs 绝对位置编码6.1 绝对位置编码（Absolute Positional Encoding）6.2 相对位置编码 6.3 对比七、相对位置的实现7.1
transformer中的positional encoding(位置编码)
热门推荐
Flying_sfeng的博客
09-18 4万+
transformer模型是当前大红大热的语言模型，今天要讲解的是transformer中的positional encoding(位置编码). 我们知道，transformer模型的attention机制并没有包含位置信息，即一句话中词语在不同的位置时在transformer中是没有区别的，这当然是不符合实际的。因此，在transformer中引入位置信息相比CNN, RNN等模型有更加重要的作...
一文搞懂Transformer的位置编码
xian0710830114的专栏
10-08 2万+
本文介绍Transformer的位置编码，有图有表有推导，看不懂你打我！！！在Transformer出现以前，NLP任务大多是以RNN、LSTM为代表的循环处理方式，即一个token一个token的输入到模型当中。这种设计存在天生的缺陷。为了解决这些缺陷，Transformer把token的顺序信号加到词向量上帮助模型学习这些信息，这就位置编码（Positional Encoding）。接下来的内容不会涉及Self-Attention等牛逼的创新设计，只讨论位置编码，希望对大家有所帮助。
Transformer原理详解和代码
weixin_52862386的博客
05-29 5151
多头注意力机制是transformer的主要创新点，它摒弃了传统卷积神经网络和神经网络的思想，通过 Scaled Dot-Product Attention实现了信息交互，但一次性使用scle dot attention对计算机计算和信息交互而言效果并不好，所以对embedding向量进行映射，映射为等长的向量。Transfomrer目前的火热主要来源于其self-attention，它的设计非常符合人类，许多transformer的变体也是基于self-attention的基础上，进行各种的变换。
详解Transformer位置编码Positional Encoding
qkh1234567的博客
09-18 3173
提到 Transformer，大家就会联想到位置编码、注意力机制、编码器-解码器结构，本系列教程将探索 Transformer 的不同模块在故障诊断等信号分类任务中扮演什么样角色，到底哪些模块起作用？前言本期基于凯斯西储大学（CWRU）轴承数据，进行 Transformer 中位置编码 （ Positional Encoding） 的详细介绍，同时探索位置编码对故障分类任务的影响力。1 位置编码相关介绍1.1 数据中的顺序信息在任何一门语言中，词语的位置和顺序对句子意思表达都是至关重要的。传统的循环神经网络
深度学习入门--Transformer中的Positional Encoding详解
qq_15534667的博客
04-26 5179
Transformer中的Positional Encoding详解 Positional EncodingTransformer中的Positional Encoding详解为什么要有Postional EncodingEncoding的选择Postional Encoding公式推导变换实现代码编码可视化 为什么要有Postional Encoding 因为Self-Attention相对于传统的RNN在输入计算时没有输入先后顺序，而是采用并行化的思想来加快运算，这样Self-Attention在前一个
举例理解transformer中的位置编码
qq_41915623的博客
06-07 9433
​ 在transformer的结构图中，由一个“Positional Encoding”，即位置编码，查看了以下资料后，稍微有点儿理解了，记录于此。​ 由于transformer是并行化运算，所以输入的信息中没有位置信，而在语音文本中，绝大部分都是有语序的。例如：我爱你，要是翻译成’“You love me”，那意思就完全不一样了。于是，就有了位置编码，其作用就是让输入数据携带位置信息，是模型能够找出位置特点。​ 在transformer中的位置编码中，其编码公式如下： PE(pos,2i)=sin(
Transformer：位置编码（Positional Encoding）
Wei_sx的博客
06-13 908
位置编码是Transformer的关键设计之一，为模型提供了序列中元素的位置信息，弥补自注意力机制本身缺乏顺序感的缺陷。它采用基于正弦和余弦函数构造的周期性编码，简单高效，不需额外学习。如果你对位置编码的其他实现方式（比如可学习的位置编码）感兴趣，也可以告诉我！
Transformer的位置编码笔记（positional encoding）
m0_59113542的博客
02-28 5243
介绍了transformer的位置编码为什么是正余弦函数，以及正余弦函数里面的数值是怎么来的
大白话Transformer结构-从此爱上Transformer
05-06
以通俗的语言讲解Transformer的整体流程和思想，让你了解Transformer的来龙去脉。资料：
对Transformer中Positional Encoding的理解
一步一脚印
10-07 2509
Transformer是由Encoder和Decoder两大部分组成，首先对于文本特征，需要进行Embedding，由于transformer抛弃了Rnn的结构，不能捕捉到序列的信息，交换单词位置，得到相应的attention也会发生交换，并不会发生数值上的改变，所以要对input进行Positional Encoding。Positional encoding和input embedding是同等维度的，所以可以将两者进行相加，的到输入向量。
【深度学习】transformer之 Positional Encoding
qq_50857066的博客
01-29 986
注意：与RNN相比，RNN是一个字一个字的输入，自然每个字的循序关系信息就会保留下来，在Encoder中，一句子的每一个字(词)是并行计算的(下一节解释)，所以我们在输入的时候需要提前引入位置信息。这样通过与位置编码(positional encoding)相加，则让输入向量x具有了位置信息。奇数的位置是cos, 偶数的位置是sin。i是维度下标，d是总维度。
一文搞懂Transformer中的位置编码Positional Encoding
baidu_33000721的博客
04-09 2335
Transformer中Positional Encoding的思考
transformer模型中embedding和positional encoding的区别
最新发布
11-03
在Transformer模型中，Embedding和Positional Encoding存在多方面区别。 ### 功能目的 Embedding的主要功能是将离散的输入数据（如单词、字符等）转化为连续的向量表示，让模型能够处理和理解这些数据。比如在自然语言处理里，将每个单词token映射到一个高维向量空间，使语义相近的单词在向量空间中距离较近，以此帮助模型捕捉词汇间的语义关系[^1]。 Positional Encoding则是为了向模型提供序列中元素的位置信息。由于Transformer模型中的Self - Attention机制本身无法感知元素的位置，Positional Encoding能为每个位置生成一个独特的编码，将其与Embedding后的向量相加，从而让模型知晓每个元素在序列中的位置[^1]。 ### 生成方式 Embedding通常是学习得到的。可以随机初始化Embedding矩阵，然后在模型训练过程中，通过反向传播算法不断调整矩阵中的参数，以优化模型性能。例如在PyTorch中，使用`nn.Embedding`类创建Embedding层，在训练时更新其权重参数[^1][^3]。 ```python import torch import torch.nn as nn vocab_size = 1000 embedding_dim = 512 embedding = nn.Embedding(vocab_size, embedding_dim) ``` Positional Encoding有多种生成方式。一种是使用固定的数学公式生成，像Transformer原始论文中使用正弦和余弦函数的组合来生成位置编码： $$ PE_{(pos,2i)} = \sin\left(\frac{pos}{10000^{\frac{2i}{d_{model}}}}\right) \\ PE_{(pos,2i + 1)} = \cos\left(\frac{pos}{10000^{\frac{2i}{d_{model}}}}\right) $$ 其中`pos`是位置，`i`是维度，`d_model`是模型的维度。另一种方式是将位置编码作为可学习的参数，类似于Embedding，在训练过程中进行更新，如BERT模型中的位置编码就是学习出来的，被称为Position Embedding[^2]。 ### 作用对象 Embedding作用于输入序列中的每个元素，不管是单词、字符还是其他离散单元，都会通过Embedding层将其转换为向量。 Positional Encoding作用于Embedding后的向量，在得到Embedding向量后，将Positional Encoding生成的位置编码向量与之相加，得到包含位置信息的向量，供后续的Self - Attention等模块使用。 ### 意义和影响 Embedding有助于模型理解输入元素的语义信息，使得模型能够在向量空间中对语义进行分析和处理，是模型捕捉词汇语义关系的基础。 Positional Encoding则保证了模型在处理序列时能够考虑元素的顺序和位置，对于处理具有顺序依赖的任务（如自然语言处理中的句子理解、机器翻译等）至关重要，能让模型更好地捕捉序列中的长距离依赖关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值