从旋转矩阵到相对位置:RoPE编码的数学之美

旋转位置RoPE编码详解 步骤操作输入维度5个token,每个512维权重矩阵子空间划分将512维划分为256个二维子空间旋转矩阵生成基于位置 mm 和频率 θi=10000−2i/512θi​=10000−2i/512旋转后Q/K每个二维子空间独立旋转,拼接后保持512维注意力分数内积隐式编码相对位置 n−mn−m通过旋转位置编码,模型无需显式学习位置偏差,直接通过几何变换捕捉相对位置关系,提升长序列建模能力。编码类型实现关键点正余弦编码预计算位置编码矩阵,动态切片适配序列长度,通过广播机制高效相加。旋转编码(RoPE) 阅读详情

1. 从时钟指针到词向量:RoPE的直观理解

想象你面前摆着一排老式钟表,每个钟表的指针都指向不同的方向。第一个钟表指针指向12点方向,第二个钟表指针顺时针旋转了30度,第三个又转了30度...这就是RoPE(Rotary Position Embedding)最形象的比喻。在自然语言处理中,每个词就像钟表的指针,通过不同的旋转角度来标记它在句子中的位置。

传统的位置编码就像给每个词贴上一个编号标签——"这是第5个词"。但RoPE的做法更巧妙:它让词向量在抽象的空间中"旋转",位置越靠后的词旋转角度越大。这样当模型计算两个词的注意力权重时,它们的相对角度差就自然包含了位置距离信息。

举个例子,假设"苹果"这个词在位置1,它的向量旋转了15度;"吃"在位置3,旋转了45度。当模型计算它们的相关性时,30度的角度差(45-15)就暗示着它们相隔2个位置。这种设计让模型无需显式计算位置差,就能感知词语的相对距离。

2. 二维旋转的数学舞蹈

RoPE的核心是一个二维旋转矩阵。对于向量中的每一对相邻维度(比如第0和1维、第2和3维...),RoPE应用如下变换:

def rotate_vector(x1, x2, theta):
    """二维旋转操作"""
    new_x1 = x1 * cos(theta) - x2 * sin(theta)
    new_x2 = x1 * sin(theta) + x2 * cos(theta)
    return new_x1, new_x2

这个操作保持了向量的模长不变——就像钟表指针无论怎么转,长度都不会改变。旋转角度θ由位置编号和维度共同决定:

θ = 位置编号 × 维度频率

其中维度频率的计算公式为:

freq = 1 / (10000 ** (2i / d_model))  # i是维度组的索引

为什么要用不同的频率?这就像交响乐团的不同声部:高频的小提琴能捕捉细腻的短距离关系,低频的大提琴则负责长距离依赖。在RoPE中,低维(靠前的维度组)变化快,对相邻位置敏感;高维变化慢,能捕捉长程模式。

3. 从复数到矩阵:RoPE的两种视角

RoPE的数学之美在于它可以用复数优雅表示。将每对维度看作复数平面上的点,旋转操作就变成了复数乘法:

def complex_rotate(q, theta):
    """复数形式的旋转"""
    return q * (cos(theta) + 1j*sin(theta))

这等价于用旋转矩阵进行线性变换。在实际实现中,LLaMA等模型采用复数运算来高效计算:

# LLaMA的实现片段
freqs = 1.0 / (theta ** (torch.arange(0, dim, 2) / dim))
t = torch.arange(seq_len)
freqs = torch.outer(t, freqs)  # 位置×频率
freqs_cis = torch.polar(torch.ones_like(freqs), freqs)  # 转为复数

q_rotated = q * freqs_cis  # 复数乘法实现旋转

这种实现不仅代码简洁,而且计算效率高。在Hugging Face的Transformer库中,类似的优化使得RoPE几乎不增加额外计算开销。

4. 注意力机制中的RoPE芭蕾

RoPE的精妙之处在于它如何与注意力机制共舞。传统Transformer中,位置信息是通过加法注入的:

attention = softmax((Q + P)(K + P)^T / √d)

而RoPE改为旋转Q和K向量:

attention = softmax((RQ)(RK)^T / √d)

其中R是旋转矩阵。这种设计带来三个关键优势:

  1. 相对位置自动编码:两个旋转后的向量点积结果只取决于它们的角度差
  2. 长程衰减性:远距离词对的注意力分数会自然衰减
  3. 长度外推:可以处理比训练时更长的序列

实验表明,使用RoPE的模型在长文本任务上表现优异。例如在512长度预训练的模型,扩展到1024时准确率仍能保持,这是传统位置编码难以实现的。

5. 为什么只旋转Q和K?

细心的读者可能会问:为什么只对Query和Key做旋转,而不处理Value?这涉及注意力机制的本质:

  • Q和K的交互决定"关注哪里"——需要位置信息
  • V提供"关注的内容"——应保持语义纯净

就像在图书馆找书:你需要根据书名(Q)和书架索引(K)的位置关系找到书,但书的内容(V)本身不需要知道它在哪个书架。如果旋转V,反而会扭曲原始的语义信息。

6. RoPE的变体与实践技巧

实际应用中,RoPE有几个值得注意的变体:

  1. NTK-aware缩放:通过调整频率基数来增强外推能力
base = 10000 * (seq_len / 512)  # 动态调整base
  1. 部分可训练RoPE:让部分维度的频率可学习
self.inv_freq = nn.Parameter(freqs)  # 可训练参数
  1. 混合精度实现:使用bfloat16减少内存占用

在ChatGLM和LLaMA等开源模型中,这些技巧被广泛应用。例如Code LLaMA将base设为1,000,000,显著提升了长代码片段的处理能力。

7. 超越文本:RoPE的多模态扩展

RoPE的思想可以推广到图像、视频等数据。对于图像处理:

  1. 将二维位置(x,y)分别编码
  2. 高度和宽度维度使用不同的旋转矩阵
  3. 保持通道间的独立性

这种设计保留了空间相对关系,同时避免了不同维度间的干扰。实验显示,在视觉-语言模型中,RoPE比传统位置编码有更好的跨模态对齐效果。

从时钟指针的比喻到复杂的多维变换,RoPE以其数学上的优雅和实际效果,成为现代Transformer架构中位置编码的主流选择。它的设计启示我们:有时候,用几何变换来表达抽象关系,比直接注入人工设计的特征更为强大。

彻底搞懂 RoPE:位置编码的新范式 在 Transformer 架构中,位置编码(Position Encoding)是理解序列顺序的关键机制。自从 Google 提出原始的 Sinusoidal 编码以来,研究者一直在探索更高效、可泛化的方式。RoPE(Rotary Positional Embedding) 就是在这一背景下被提出的,它已被广泛应用于大模型如 LLaMA、GPT-NeoX、Grok、ChatGLM 等,是现代 LLM 架构的标准配置。 阅读详情

相关推荐

旋转位置编码(Rotary Position Embedding, RoPE)

最近看代码,看到了一些旋转矩阵编码的内容,学习了一下,这里记录一下方便以后查阅。

梁小憨憨的博客 2784

一文通透位置编码:从标准位置编码、复数、欧拉公式到旋转位置编码RoPE(含其推导与代码实现)

关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题,我把另外两篇文章中关于这部分的内容抽取出来,并不断深入、扩展、深入,最终成为本文。

结构之法 算法之道 8万+

通俗易懂理解RoPE旋转位置编码

👉RoPE 的旋转角度 = 位置编号 × 维度频率模型不需要“学”这个角度,它是固定公式,确保不同位置的 token 在多维平面上按照规律旋转,让点积注意力自动带上相对位置信息。

qq_43664407的博客 1493

理解并实现旋转位置编码 RoPE

在 LLaMA 源码中,旋转位置编码(Rotary Position Embedding, RoPE)的实现通过。

weixin_71945758的博客 1095

旋转位置编码(RoPE)公式详细推导过程

旋转位置编码(RoPE)公式详细推导过程,有助于理解RoPE。

L聪记博客 1944

线性自抗扰控制LADRC(一)---基础知识

LADRC(Linear Active Disturbance Rejection Control)是ADRC的线性化版本,通过简化非线性模块(如ESO和反馈律)降低计算复杂度,适用于实时控制系统(如电机驱动)。

ApexYuan 2079

旋转位置编码(ROPE)详解:从Transformer到现代前沿

本文详细介绍了旋转位置编码(ROPE)在Transformer模型中的应用,包括其数学原理、代码实现以及与传统位置编码的对比。ROPE通过旋转嵌入向量来编码位置信息,能够自然捕捉相对位置关系,特别适用于长序列任务。文中提供了ROPE的PyTorch实现和使用示例,旨在帮助读者深入理解并应用这一先进技术。

阿正的梦工坊 5573

哈希拓展攻击CTF题做法

kali下载相关工具hash-ext-attack:hash拓展题目特征:2023楚慧杯upload_shell实验吧之让我进去:前言:具体怎么加密解密补位的原理我不懂,深入理解的部分我在文末挂了链接,以下也只是我做题的结论和通解,可能不准确(但是做题还挺准确),有错误欢迎指出:是在密码加密过程中引入的一个随机值,它与密码结合使用,目的是增加密码的复杂性和安全性。在密码加密中,常见的做法是将用户提供的密码进行哈希处理,然后存储哈希值而不是明文密码

2301_76690905的博客 2422

Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现

Rotary Position Embedding (RoPE, 旋转式位置编码) | 原理讲解+torch代码实现

weixin_43646592的博客 5万+

基于Android13的系统启动流程分析(三)之FirstStageMain阶段

init进程是Android系统中用户空间的第一个进程,作为第一个进程,它被赋予了很多极其重要的工作职责,比如创建zygote(孵化器)和属性服务等。init进程是由多个源文件共同组成的,这些文件位于源码目录system/core/init1. Bootloader 引导当按下设备电源键时,最先运行的就是 bootloader(固化在ROM的程序),bootloader 的主要作用就是硬件设备(如 CPU、flash、内存)的初始化并加载到RAM,通过建立内存空间映射,为装载 Linux 内核做好准备,。

q1210249579的博客 5497

科研人必备!用WisPaper搭建个人文献知识库的完整指南(附Zotero联动技巧)

本文详细介绍了如何利用WisPaper搭建高效的个人文献知识库,包括文件命名标准化、文件夹结构设计、语义搜索技巧及与Zotero的深度联动方法。通过智能标签系统和知识图谱功能,科研人员可以快速定位关键文献,提升研究效率。特别适合需要管理大量学术文献的研究者。

weixin_30823001的博客 268

大模型都在用的:旋转位置编码

绝对位置编码和相对位置编码都有局限性,比如绝对位置编码不能直接表征token的相对位置关系;相对位置编码过于复杂,影响效率。于是诞生了一种用绝对位置编码的方式实现相对位置编码的编码方式——旋转位置编码(RotaryPositionEmbedding,RoPE),兼顾效率和相对位置关系。 RoPE的核心思想是通过旋转的方式将位置信息编码到每个维度,从而使得模型能够捕捉到序列中元素的相对位置信息。现在已经在很多大模型证明了其有效性,比如ChatGLM、LLaMA等。

xian0710830114的专栏 9816

ESP32网络开发实例-开发环境搭建

NodeMCU-ESP-32S开发环境搭建 NodeMCU-32S 最强的ESP32 开发板非盗版或副厂的CH340。WiFi 蓝牙ESP-32 可用Arduino IDE ESP32-S 是一款通用型WiFi-BT-BLE MCU模组,功能强大,用途广泛,可以用于低功耗传感器网络和要求极高的任务,例如语音编码、音频流和MP3解码等。 此款模组的核心是ESP32芯片,具有可扩展、自适应的特点。两个CPU核可以被单独控制或上电。时钟频率的调节范围为80 MHz到240 MHz。用户可以切断CPU的电源,利用低

视觉与物联智能 3783

旋转位置编码RoPE

** 核心思想 **:通过复数旋转将位置信息编码到 Query 和 Key 中,使注意力计算依赖相对位置。-** 旋转方式 **:用位置相关的角度 θ 旋转特征向量的复数对,角度随位置和维度变化。-** 优势 **:支持长序列、保持相对位置不变性、无额外参数,已成为大模型(如 LLaMA、Flux)的标配位置编码方案。结合代码来看,RoPE 的实现主要分为两步:1)预计算每个位置的旋转角度(cos/sin);2)将角度应用到 Query 和 Key 向量的旋转中,最终融入注意力计算。

cn_wk的专栏 1433

CS之攻击菜单详解-后门生成与上线

能够生成如HTA文档、office宏、payload生成器、exe程序。 windows可执行程序exe 可以看到能生成两种windows可执行程序,其分别代表stage分阶段和unstage(stageless)不分阶段。传送门 ——>Cobalt Strike中payload的stage与unstage区别 选择监听器后,按需生成不同类型的exe 然后在目标机器运行即可上线 payload生成器 选择生成如下类型的后门 ——>https://che...

渗透之路,攻防之间皆学问 6808

AI大模型助力现金流精准预测案例详解

因为它的“注意力机制”能像“人一样思考”——比如,当预测“下周现金流”时,模型会重点关注“最近7天的销售数据”“未来7天的天气”“竞品是否有促销”这些关键因素,而忽略“去年同期的无关数据”。AI大模型不是“取代”财务人员,而是“赋能”他们——把财务人员从“重复的Excel操作”中解放出来,专注于“战略决策”(比如如何优化资金结构、如何提升资金利用率)。比如,“促销力度”这个特征,不是简单的“折扣率”,而是“折扣率×促销天数×覆盖SKU数量”,这样能更准确反映促销对现金流的影响。这些问题的核心,其实是。

AIGC应用创新大全的博客 1261

手把手带你从零推导旋转位置编码RoPE

RNN每个step的隐状态都取决于上一个step的输出,这种连续的状态转移方式使得RNN天然带有位置信息。而Transformer仅依靠Attention机制来关注序列中不同token之间的相关性,如果只使用token embedding就无法获得句子中字与字之间的位置信息,也就是说如果没有位置编码,输入“我不爱你”与“不我爱你”的效果是相同的,因此我们要在里面额外引入位置信息。下面我就为大家介绍位置编码的发展过程。

Antai_ZHU的博客 2274

【HOJ系列】HOJ判题机部署

【HOJ系列】HOJ判题机部署

随风浪仔的专栏 905

从欧拉公式的美到旋转位置编码RoPE

RoPE非常巧妙的借助复平面和欧拉公式,将位置信息编码到了query和key向量中,使得模型能够利用上token之间的相对位置信息。RoPE的设计思路是将query和key向量进行旋转,这就是旋转的由来。

深数研究院 1427

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

RoPE 相对位置编码 VS 传统位置编码

我们先来想象一个场景:“我 爱 吃 苹果”你知道“我”是主语,“爱”是动词,“苹果”是宾语。为什么你能明白这些词之间的关系?因为你知道它们的顺序和位置!但对计算机来说,一开始它只知道这些词是哪些,并不知道它们在第几个位置这时候,我们就需要给每个词加上一个“位置说明书”——这就是位置编码!

ningyanggege的博客 2387

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

详细解释ROPE旋转位置编码,以及和AliBi编码的区别和联系

其中,θp=p/100002i/d\theta_p = p / 10000^{2i/d}θp​=p/100002i/d 是位置 ppp 的旋转角度,类似于正弦位置编码的频率设定。ALiBi 的核心思想是直接修改注意力分数 QK⊤QK^\topQK⊤ 中的权重分布,为不同的标记对增加一个线性偏置项,使得模型天然具有处理长序列的能力。在实际应用中,如果目标是扩展模型的上下文窗口并提升长距离依赖建模能力,推荐使用。它通过为注意力分数引入线性偏置(bias),实现对长序列的支持。,由 Su et al. 在论文《

具身机器人和通用AI 1835

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

RoPE:相对位置编码的旋转革命——原理、演进与大模型应用全景

RoPE通过几何旋转的统一框架,实现了位置编码的相对性、可逆性与外推性的平衡,成为大模型位置感知的基石技术。跨模态统一:N维李群框架支撑视频、3D点云位置建模动态频率学习:替代预设θbaseθbase​,实现任务自适应编码鲁棒性增强:融合FoPE思想抵抗深层频谱损坏RoPE的本质是将位置关系映射为复数空间的旋转群——它不仅是Transformer的“位置感知器”,更是AI理解时空的数学透镜。当旋转矩阵的维度从文本扩展到图像、视频乃至物理世界,位置编码的数学之美正在重构AI对世界的认知方式。

拒绝AI玄学,只聊真技术▲ 8312

ViT中的RoPE旋转位置编码实战:从理论到PyTorch代码实现

本文深入探讨了ViT中的RoPE旋转位置编码,从数学原理到PyTorch高效实现。详细解析了RoPE如何通过旋转操作在绝对位置编码中注入相对位置信息,并提供了完整的二维RoPE实现代码。实验表明,RoPE2D在视觉任务中显著优于传统位置编码方法,同时保持合理的计算开销。

s8t9u0v1w的博客 852

从三角函数到旋转矩阵:图解RoPE位置编码的数学之美

本文深入解析了RoPE(Rotary Position Embedding)位置编码技术的数学原理与实现细节,通过旋转矩阵将位置信息融入向量空间,兼具保距性、可组合性和周期性。文章对比了RoPE与传统位置编码方法的优势,并展示了其在LLaMA、GPT-NeoX等大语言模型中的实际应用与优化技巧,揭示了这一技术在处理长序列和多模态任务中的独特价值。

weixin_30500105的博客 414

旋转位置编码(RoPE)的数学原理深度解析

旋转位置编码(Rotary Position Embedding, RoPE)的核心创新在于其数学构造 —— 通过正交旋转变换将位置信息嵌入到 token 的语义向量中,同时保持对相对位置的完美建模。

weixin_41413777的博客 1713

深入解析RoPE旋转位置编码:从理论到PyTorch实现

本文深入解析RoPE旋转位置编码技术,从理论基础到PyTorch实现全面讲解。RoPE通过旋转矩阵将位置信息融入query和key向量,有效解决Transformer架构中的序列顺序问题,适用于NLP和视觉任务。文章包含详细的代码实现、性能优化技巧及在ViT中的应用实践,帮助开发者掌握这一先进的位置编码方法。

hhh00的博客 1082
上一篇: 5分钟搞定Xcode到蒲公英的自动化测试流水线:Fastlane实战教程
下一篇: UniApp横竖屏切换实战:从小程序到APP的全面适配指南
study
博客等级 码龄27年 67粉丝 1642原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值