RoPE（旋转式位置编码）

最新推荐文章于 2025-05-11 10:52:54 发布
最新推荐文章于 2025-05-11 10:52:54 发布
阅读量3.4k 收藏 11
点赞数 3
文章标签： 线性代数 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_41898761/article/details/125239203
版权
本文探讨了一种通过函数f()将绝对位置信息转化为相对位置信息的方法。首先，假设f()能够为q和k添加位置m,n的绝对信息。接着，通过内积保持相对位置信息的恒等式，推导出f()的表达式。在二维场景中，利用复数的性质解决此问题，并计划扩展到更高维度。此外，文中还提供了另一种理解该方法的视角。" 117164804,7971207,哈希与尺取法解决单词背诵问题,"['哈希算法', '算法', '数据结构']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

出发点：“通过绝对位置编码的方式实现相对位置编码”

操作步骤

1.假设一个函数f（）通过他能让q，k带上绝对位置信息

对q,k进行操作（f（））使得他们带上位置m,n的绝对位置信息，
在这里插入图片描述

通过内积后，希望结果带上相对位置信息，因此假设存在下列恒等关系
在这里插入图片描述

2.根据以上的恒等式求出f（）

假设f(q,0)=q 和f(k,0)=k
先求出在二维情景下的情况，在推广到高纬度

借助复数来求解。在复数中有⟨q,k⟩=Re[qk∗]，Re[] 代表复数的实部，所以我们有
在这里插入图片描述
简单起见，我们假设存在复数g(q,k,m−n)，使得f(q,m)f∗(k,n)=g(q,k,m−n)，然后我们用复数的指数形式，设

最低0.47元/天 解锁文章
Llama改进之——RoPE旋转位置编码
日积月累，天道酬勤
05-29 2433
旋转位置编码从理论到实战。
RoPE（旋转位置编码）详解【代码&公式】
最新发布
u013250861的博客
06-04 41
输入向量 x 的形状：(batch_size, seq_len, D) = (1,3,2)D 是嵌入维度，必须为偶数位置索引 m ∈ [0, seq_len-1], 即：m ∈ [0, 2]维度索引 k ∈ [0, D/2-1]，即：k ∈ [0]
Transformer升级之路：二维位置的旋转式位置编码
Paper weekly
08-10 4435
©PaperWeekly 原创 ·作者|苏剑林单位|追一科技研究方向|NLP、神经网络在之前的文章 Transformer 升级之路：博采众长的旋转式位置编码中我们提出了旋转...
RoPE（旋转位置编码，参考：DeepSeek-V2）
weixin_44986037的博客
05-11 667
RoPE（旋转位置编码，参考：DeepSeek-V2）
大模型系列：快速通俗理解Transformer旋转位置编码RoPE
datian1234的博客
10-24 3053
旋转位置编码RoPE（Rotary Position Embedding）是一种Transformer模型中的位置编码策略，它广泛应用于LLama，ChatGLM等大模型，本篇先介绍RoPE的实现步骤和源码，再深入讲解RoPE涉及到的数学原理，力求做到从易到难，学习曲线平滑。
旋转式位置编码Rotary Position Embedding（RoPE）
taoqick的专栏
06-04 1866
这篇堪称苏剑林老师的代表作了，简单来说RoPE就是乘上复数形式即可。以下转载自https://kexue.fm/archives/8265。其中Re[]表示实数部分，
RoPE旋转位置编码
weixin_40777649的博客
12-27 907
【代码】RoPE旋转位置编码。
大模型学习-基础篇（二）RoPE旋转位置编码
qq_43671025的博客
09-05 1398
fqmcosmθ−sinmθsinmθcosmθq0q1fqmcosmθsinmθ​−sinmθcosmθ​q0​q1​​以及三个关键的理解：1.不同位置，转角不一样。转角差包含了相对位置信息。2.维度：分成高频和低频高频：短距离低频：长距离3.高频外推性强，低频插值能力强。b站上有相关的介绍视频，可以参考观看，老师讲的很好。
Llama为何要采用RoPE旋转位置编码？
m0_64752471的博客
09-29 973
最近在做 LLM 窗口外推的相关工作，因此刚好也回顾一下目前最流行的位置编码 RoPE。01RoPE（Rotary Position Embedding），是苏剑林大神在 2021 年就提出的一种 Transformer 模型的位置编码。RoPE 是一种可以以绝对位置编码形式实现的相对位置编码，兼顾了模型性能和效率。2023 年上半年的时候，大模型位置编码尚有 Alibi 和 RoPE 在相互比拼，而到了 2023 年下半年，及今 2024 年，新开源出来的模型，大部分都是使用 RoPE 了。
LLM - 理解 旋转位置编码(RoPE) 与 绝对相对位置编码 之间的差异
AGI
07-10 1214
Transformer 是基于 多头自注意力机制 (Multi Head Self-Attention, MHSA) 的算法，然而，MHSA 对于位置不敏感，需要添加 位置编码(PE)，主要包括绝对位置编码 (默认的 Transformer 位置编码)、相对位置编码，以及主流的旋转位置编码 (Rotary Position Embedding, RoPE)。
旋转位置编码RoPE总结
PennyYu123的博客
07-14 4904
Rotary Position Embedding (RoPE)可谓是今年Transformer模型改进中的一大热门内容，在大模型时代，RoPE在LLaMA、ChatGLM、Palm中得到应用，并证明其有效性。RoPE的诞生可以追溯到2021年，由苏剑林大神在《RoFormer: Enhanced Transformer with Rotary Position Embedding》首次提出，有效地改善了传统位置编码不能很好地捕捉相对位置的问题，同时也为长度外推提供了可扩展性。Markdown。
【手撕ROPE】极简方法实现旋转位置编码ROPE，面试遇到手撕ROPE再也不怕了！
qq_30731313的博客
03-06 1786
ROPE极简实现，秒杀面试手撕
什么是RoPE-旋转位置编码？
TFATS的博客
01-12 3794
我们知道句子中不同词语之前的位置信息十分重要，但是self-attention框架无法直接利用位置信息，因此研究者提出了许多方法将位置信息编码到学习过程中。一是绝对位置编码方法，将位置信息直接加入到输入中；二是相对位置编码方法，研究者通过微调attention的结构，使它具有识别token位置信息的能力。本文作者详细梳理了位置编码的流派，提出了一种旋转位置编码方式RoPE，并从数学角度证明RoPE带来的诸多优点。
【大模型理论篇】RoPE旋转位置编码底层数学原理分析
源泉的小广场
08-30 5541
大模型、位置编码、Transformer、旋转位置编码、RoPE、Rotary Positional Encoding、数学原理、数学推导、旋转矩阵、相对位置、绝对位置、词元相似性、位置相关性
Reformer RoPE,旋转位置编码，关于Transformer当中的位置编码的优化考察
AI生成式技术曾小健
06-09 1140
DeBerta矩阵的定义与T5相反，T5是去除了位置与token的交叉项，只保留相对位置产生的偏移矩阵，而DeBerta与之相反，它去除掉了相对位置产生的偏置矩阵，但是留下了两个位置与token之间的交叉项，并将之用相对位置矩阵的方式进行保留。如前所述，位置编码的核心就是给每一个位置添加一个具体的position embedding从而令attention层的输入可以识别出其具体的位置，但是由于句长的无限性所以限制了绝对位置编码的使用方法。，大概会去考虑这个问题的人就大幅减少了。
Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
热门推荐
weixin_43646592的博客
05-29 4万+
Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现
大模型都在用的：旋转位置编码
xian0710830114的专栏
04-26 7468
绝对位置编码和相对位置编码都有局限性，比如绝对位置编码不能直接表征token的相对位置关系；相对位置编码过于复杂，影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码（RotaryPositionEmbedding,RoPE），兼顾效率和相对位置关系。 RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度，从而使得模型能够捕捉到序列中元素的相对位置信息。现在已经在很多大模型证明了其有效性，比如ChatGLM、LLaMA等。
【大模型】旋转位置编码（Rotary Position Embedding，RoPE）
酒酿小圆子呀～
02-27 493
旋转位置编码（Rotary Position Embedding，RoPE）是论文 Roformer: Enhanced Transformer With Rotray Position Embedding 提出的一种能够将相对位置信息依赖集成到 self-attention 中并提升 transformer 架构性能的位置编码方式。而目前很火的 LLaMA、GLM 模型也是采用该位置编码方式。备注：什么是大模型外推性？外推性是指大模型在训练时和预测时的输入长度不一致，导致模型的泛化能力下降的问题。
旋转位置编码（RoPE）详解：从一维序列到三维空间
fydw_715的博客
04-09 1059
旋转位置编码（RoPE）通过巧妙的旋转变换，提供了一种强大而优雅的方式来编码相对位置信息，特别是在 Transformer 的自注意力机制中表现出色。旋转位置编码（Rotary Position Embedding, RoPE）作为一种新颖的相对位置编码技术，因其能将位置信息以旋转变换的方式融入嵌入向量，并自然地在自注意力机制中体现相对位置关系而备受关注。RoPE 旨在通过旋转操作将位置信息编码进 Transformer 模型的嵌入向量中，以增强模型捕获序列中相对位置信息的能力。三个空间维度上的位置信息。
RoPE 旋转位置编码
05-07
好的，我现在需要帮助用户理解RoPE旋转位置编码的原理和实现方式。首先，我得回顾一下用户提供的引用内容，确保准确引用相关信息。用户给出的引用[1]到[4]都涉及RoPE的不同方面，比如基本原理、与Sinusoidal编码的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值