如何理解Transformer论文中的positional encoding，和三角函数有什么关系？

最新推荐文章于 2025-10-04 17:00:00 发布
转载 最新推荐文章于 2025-10-04 17:00:00 发布 · 264 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.zhihu.com/question/347678607/answer/864217252

本文探讨了深度学习中卷积神经网络在图像识别领域的前沿进展，介绍了CNN在特征提取和高级任务中的应用，以及最新研究案例。
第十章（3）：Transformer之Positional encoding
安静到无声
10-27 2727
我在学习NLP的时候，围绕着我不懂得技术点，逐个击破，以此期望能够把各个模块理解的更深入，使我在今后的学习中，能够更深入的分析，让自己更通透。接下来切入正题，介绍下Transformer中需要使用的Positional encoding，它主要为Transformer这种并行计算模型，难以理解输入句子的语序而针对性设计的。
Transformer的位置编码(Positional Encoding)
天涯雨的博客
07-06 899
Transformer的位置编码(Positional Encoding)
使用Positional Encoding的作用和原因
weixin_52025382的博客
10-19 733
本文主要探讨Transformer模型中使用的Positional Enconding的原因：位置编码如何反映前后序列的位置信息？为什么要使用三角函数进行表示？
深度学习笔记--Transformer中position encoding的源码理解与实现
牵一只蜗牛去散步
11-16 1509
令：position = p，则position * div_term。分别取行数列和奇数列，就可以得到上图绿框所示的公式。2--源码分析与理解。
理解Transformer论文中的positional encoding，和三角函数有什么关系
阿里武的技术博客
09-27 2832
理解Transformer论文中的positional encoding，和三角函数有什么关系 关注这个问题有一段时间了，一直没有看到太满意的回答，来讲一下我的见解。首先，需要明确的是，建模位置信息(无论是绝对位置还是相对位置)并不是必须用到三角函数，否则fairseq和BERT中使用的positional embedding也不会奏效了。我想，作者在这里使用正余弦函数，只是根据归纳偏置和一些经验作出的选择罢了。不妨从零构想一个位置编码的方法。首先，给定一个长为 的文本，最简单的位置编码就是计数，即使用
Positional Encoding | 位置编码【详解】
qq_23022733的博客
08-14 2737
transformer的作者刚开始说固定的位置编码和可学习的位置编码的效果是差不多的，后来证明固定的位置编码没有太大的必要，还不如省事直接使用可学习的位置编码，如下图，设置token的数量为10，token的特征向量长度为128，偶数项和奇数项的位置编码公式如下图所示，代码中，token_num是句子中的单词数量，embed_dim表示每个单词的特征向量长度，将对应位置的位置编码直接加在输入的单词上，如下图中的最后一行，为什么 attention 并不能赋予 token 位置信息？
【AI理论学习】对Transformer中Positional Encoding的理解
小哲的博客
09-16 4753
在任何一门语言中，词语的位置和顺序对句子意思表达都是至关重要的。传统的RNN模型在处理句子时，以序列的模式逐个处理句子中的词语，这使得词语的顺序信息在处理过程中被天然的保存下来了，并不需要额外的处理。而对于Transformer来说，由于句子中的词语都是同时进入网络进行处理，顺序信息在输入网络时就已丢失。因此，Transformer是需要额外的处理来告知每个词语的相对位置的。其中的一个解决方案，就是论文中提到的。
transformer学习笔记：Positional Encoding（位置编码）
weixin_48799576的博客
09-03 5846
对于任何一门语言，单词在句子中的位置以及排列顺序是非常重要的，它们不仅是一个句子的语法结构的组成部分，更是表达语义的重要概念。
图文详解Transformer模型——PosItional Encoding 位置编码详解
最新发布
人工智能研究所的博客
10-04 448
本文详细解析了Transformer模型中Positional Encoding（位置编码）的原理与实现。文章首先解释了RNN模型自带位置信息而Transformer需要额外位置编码的原因，然后介绍了Transformer采用的正余弦函数位置编码公式及其优势（如适应任意长度句子、保持相对位置关系等）。通过具体示例展示了如何为一个4词句子计算512维的位置编码，并阐述了三角函数特性如何实现位置信息的线性转换。最后，文章提出了关于位置编码设计的两个思考问题，并指出残差连接对保留位置信息的关键作用。该内容为理解T
旋转位置编码（Rotary Positional Encoding, RoPE）：中文公式详解与代码实现
qq_18943707的博客
03-20 1482
RoPE是一种灵活且高效的位置编码方法，通过旋转机制动态地调整相对位置信息，特别适合处理长序列数据。希望这些详细的公式解读与代码示例能够帮助读者更好地理解和应用RoPE技术。如需进一步探讨或分享经验，请随时在评论区留言！
Positional-Encoding:带有单词嵌入的编码位置
05-18
位置编码 您只需要注意： : 不使用任何递归神经网络对句子进行编码。 相反，他们利用位置编码，然后注意。 在本文中，thay使用不同频率的正弦和余弦函数： P E(pos,2i) = sin(pos/10000**(2i/dmodel)) P E(pos,2i+1) = cos(pos/10000**(2i/dmodel)) 其中pos是位置，而i是尺寸。 即，位置编码的每个维度对应于正弦曲线。 波长形成从2π到10000·2π的几何级数。 我们选择此函数是因为我们假设它会允许模型轻松学习相对位置的参加，因为对于任何固定的偏移量k，P Epos + k都可以表示为P Epos的线性函数。 coder.py提供了一个有助于对位置/时间分量以及单词嵌入进行编码的类。 位置和单词嵌入都可以训练。 此类的编码输出必须通过自我关注层才能获得更好的结果。 句法 import torch im
Transformer03：位置编码（Positional Encoding）
qq_35284513的博客
03-19 1763
位置编码是Transformer模型理解序列数据的一个关键组成部分。通过向模型提供关于序列中每个元素位置的信息，位置编码使得基于注意力的架构能够有效地处理语言等顺序数据。尽管其设计简单，位置编码却极大地增强了Transformer模型的能力，使其在多个自然语言处理任务中取得了前所未有的成功。
位置编码Positional Encoding
fb_941219的博客
03-23 7867
摘抄自这里。在以前的模型中，NLP的每个Sequence都是一个token一个token的输入到模型当中。比如有一句话是“我喜欢吃洋葱”，那么输入模型的顺序就是“我”，“喜”，“欢“，”吃“，”洋“，”葱”，一个字一个字的。上面的输入方式其实就引入了一个问题。一个模型每次只吃了一个字，那么模型只能学习到前后两个字的信息，无法知道整句话讲了什么。为了解决这个问题，Transformer模型引用了Self-attention来解决这个问题。
positional_encodings实战
qq_58286779的博客
06-06 733
Transformers之positional_encodings实战
手撕Transformer之Positional Encoding
2401_85378759的博客
09-26 1472
位置编码（Positional Encoding）多用于为序列中的每个标记Token提供相对位置信息。在阅读句子时，每个单词都依赖于其周围的单词。例如，有些单词在不同的语境中有不同的含义，因此模型应该能够理解这些变化以及每个单词所依赖的语境。比如单词"trunk "就是一个例子，在一种情况下，它可以指大象用鼻子来喝水。在另一种情况下，它可以指树的树干被闪电击中。由于模型使用长度为 d_model 的嵌入向量来表示每个单词，因此任何位置编码都必须兼容该向量。
Positional Encoding（位置编码） 的计算
m0_63372012的博客
07-26 452
【代码】Positional Encoding（位置编码） 的计算。
一口气看完从零到一构建transformer架构代码二：位置编码模块
m0_73426548的博客
04-06 748
​，用于为输入序列注入位置信息（因为 Transformer 本身没有递归或卷积结构，无法感知 token 的顺序）。​，用于为输入序列的每个位置生成独特的编码向量，从而让模型感知 token 的顺序信息。
PositionalEncoding（位置编码）
weixin_44012667的博客
12-17 1462
是 Transformer 模型中的关键组件之一。由于 Transformer 模型没有循环结构（不像 RNN 或 LSTM），它无法直接捕捉输入序列中元素的位置信息。因此，需要通过来显式引入序列中每个位置的信息。Transformer 模型是一种基于的模型。自注意力机制对输入序列进行并行处理，这意味着模型对输入序列中各个位置的元素是的。为了让模型能够理解输入序列中元素的位置关系，我们需要在输入向量中加入位置信息。
Transformer实现以及Pytorch源码解读（三）-位置编码Position Encoding——史上最容易理解
铁血军的小博客
12-22 5637
位置编码的数学定义如下公式所示：从公式上可以看出，在对位置信息进行编码的过程中主要涉及到两个索引：p和i，其中，p表示，某个单次在一个句子中的位置，该位置用索引表示，索引从0开始；其中的i表示，某个数值，在embedding后形成的向量中的位置，该位置也用索引表示，并且索引从0开始。可以搭配下图进行理解。比如0.03这个元素的p=0并且i=0, 而0.07这个元素的p=1,i=1。从inputs到向量矩阵的表示过程可以参考我前面的博客。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值