RoPE续集

原创 已于 2025-09-28 10:07:21 修改 · 443 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习

于 2025-08-22 16:31:50 首次发布

上一节《旋转位置编码RoPE》中简要介绍了1D-RoPE和2D-RoPE的推导以及完备性分析，本节主要将RoPE推广至3D-RoPE并提出自己的一些思考（待验证），同时对多模态大模型中的位置编码进行介绍。（本文仅供学习参考，禁止商用盗用，转载请注明出处）

SuMastiff
关注
位置编码(三.2) 苏剑林讲旋转位置编码 推导解析
duoyasong5907的博客
03-07 236
书接上文关于原文的如下内容，对于第二个等号的两边，有三种方式验证：
深入浅出：旋转变位编码（RoPE）在现代大语言模型中的应用
qq_38961840的博客
02-04 2257
旋转变位编码（RoPE）作为一种创新的位置编码方法，近年来在这些模型中得到了广泛应用。RoPE 是一种创新的位置编码方法，通过旋转来捕捉序列中元素的相对位置关系。位置编码将每个位置映射为一个向量，然后将其添加到词嵌入中，从而为模型提供位置信息。具体来说，RoPE 将词嵌入向量视为高维空间中的点，然后通过旋转来捕捉不同位置之间的关系。为了将 RoPE 推广到高维空间，作者将高维空间划分为多个 2D 子空间，然后在每个子空间中独立地进行旋转。
RoPE, 2D RoPE, 3D RoPE和复数
zxs0222的博客
08-21 680
4）理解：通过对query和key向量进行上述复数旋转操作，使得模型能够捕捉到相对位置信息。，所以经过旋转后的query和key向量的内积包含了相对位置的信息。旋转位置编码是一种用于Transformer架构中的位置编码方法，几何意义：两次旋转的效果等于一次旋转。1）对于输入序列的每个位置的嵌入向量。3）旋转位置：对于每个位置。即实现对向量的旋转操作。
旋转位置编码（RoPE）的数学原理深度解析
最新发布
weixin_41413777的博客
09-16 1063
旋转位置编码（Rotary Position Embedding, RoPE）的核心创新在于其数学构造 —— 通过正交旋转变换将位置信息嵌入到 token 的语义向量中，同时保持对相对位置的完美建模。
美团发布VisionLLaMA，为视觉生成和理解提供新基线
夕小瑶科技说
03-10 1321
在人工智能领域，统一的模型架构对于简化模型设计、提高模型效率以及促进跨领域应用具有重要意义。近年来，大语言模型（Large Language Models, LLMs）在处理文本输入方面取得了显著的进展，其中基于变换器（Transformer）架构的LLaMA模型家族在众多开源实现中脱颖而出。然而，一个引人关注的问题是，这些为文本输入设计的变换器是否同样适用于处理二维图像？
【多模态大模型学习】位置编码的学习记录
威化饼的一隅
02-26 1154
大模型位置编码的学习记录
Transformer升级之路：二维位置的旋转式位置编码
Paper weekly
08-10 4643
©PaperWeekly 原创 ·作者|苏剑林单位|追一科技研究方向|NLP、神经网络在之前的文章 Transformer 升级之路：博采众长的旋转式位置编码中我们提出了旋转...
Obi Rope 6.5.4
10-20
Unity绳子插件，商城最新版本 商城链接： https://assetstore.unity.com/packages/tools/physics/obi-rope-55579
3DMAX一键绳子插件Rope下载
04-18
3DMAX一键绳子插件Rope，沿样条线路径创建绳子模型工具。
unity插件Rope Toolkit-2.2.0
05-07
Rope Toolkit 为您的项目带来稳定、快速的绳索物理特性。绳索组件可用于模拟简单的钢丝或更高级的设置，包括需要主动碰撞检测的滑轮和重物。捆绑的示例场景展示了如何连接绳子来模拟起重机、绳桥、秋千和拳击场。 ...
Unity Obi Rope 6.4
08-23
Unity绳子解决方案、基于粒子的高级物理引擎，可模拟各种可变形材料的行为。 但仅限于 Windows、Mac、Linux、iOS 和 Android 平台。 功能： - 使用样条线进行非线性、非破坏性的绳索编辑。在编辑绳索时，实时获得...
Rope
10-25
在IT领域，"Rope"通常指的是编程中的一个数据结构，特别是在文本编辑器或源代码管理软件中。Rope是一种高效处理大型文本的结构，它将大文本分割成多个小块，这些小块称为“片段”或“线段”，就像绳子是由许多细线...
Qwen2-VL 正式崛起 | 拉平与GPT-4o和Claude3.5差距，同时全面超越了其他通用开源模型
m0_59163425的博客
09-23 1959
作者提出了Qwen2-VL系列，这是先前Qwen-VL模型的先进升级，重新定义了视觉处理中的传统确定分辨率方法。Qwen2-VL引入了Naive动态分辨率机制，使模型能够动态地将不同分辨率的图像处理成不同数量的视觉 Token。这种方法使模型可以生成更高效、更准确的可视表示，并与人类感知过程紧密一致。模型还集成了多模态旋转位置嵌入（M-RoPE），以促进文本、图像和视频之间位置信息的有效融合。作者采用了一种统一的方法来处理图像和视频，增强了模型的视觉感知能力。
QWen2-VL增强视觉语言模型在任何分辨率下对世界的感知
weixin_39011713的博客
11-02 1573
我们推出了 Qwen2-VL 系列，这是之前 Qwen-VL 型号的高级升级版，它重新定义了视觉处理中传统的预定分辨率方法。Qwen2-VL 引入了机制，使模型能够将不同分辨率的图像动态处理成不同数量的视觉标记。这种方法使模型能够生成更高效、更准确的视觉表示，与人类感知过程紧密结合。该模型还集成了多模态旋转位置嵌入 （M-RoPE），促进了文本、图像和视频之间位置信息的有效融合。我们采用统一的范式来处理图像和视频，增强了模型的视觉感知能力。
Qwen2-VL全面解读！阿里开源多模态视觉语言模型，多项超越GPT4o与Claude 3.5-Sonnet
AIGCer的博客
09-24 9254
Qwen2-VL系列旨在重新定义传统的固定分辨率视觉处理方法，解决了在处理不同分辨率图像时的效率和准确性问题。
ROPE位置编码
weixin_39326879的博客
05-15 369
绝对位置编码指的是为每个位置学习一个编码的向量，它的最大问题是不可以扩展，比如训练的时候学到的最大的序列长度的编码是N,那么在推理的时候N+1的位置没有学习过，位置编码不了所以无法推理，比如说bert最大的编码长度是256；相对位置编码实际上学习的是一个关于相对位置差的embed的函数f(m-n)，所以是可以扩展的;ROPE就是一种相对位置编码；传统的纯文本的ROPE是1D 的ROPE,qwen2VL中因为有图像的存在，把vit那部分改为了2D rope;具体推导公式不看了；
自回归模型击败扩散！LlamaGen：全新的图像生成模型家族
阿木寺的博客
06-28 1629
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba/多模态/扩散】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载自：极市平台 | 作者：科技猛兽导读应用与语言模型完全相同的 "next-toke...
多模态模型中的动态分辨率总结
a486259的博客
11-06 4287
在最近的多模态模型中，均表明动态分辨率策略是提升模型性能的要点（），动态分辨率可以使模型能针对不同的数据场景，与固定分辨率相对立，避免了将高清数据resize到低分辨率，从而丢失大量信息，导致在特定任务下效果下降（如InfoVQA、HallusionBench和OCRBench等任务，具体与数据任务相关）。为此对InternVL 1.5、LLaVA-OneVision、ORYX MLLM、qwen2-vl等论文中提到到动态分辨率规则进行对比分析。
RopE
08-20
RoPE 被扩展到了二维空间，并通过引入可学习的混合频率参数，形成了 RoPE-Mixed 方法，这种方法在多分辨率和高分辨率视觉任务中表现出了显著的优势，同时保持了计算效率[^1]。这种改进使得 RoPE 不仅限于自然语言...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值