大模型位置编码演进史：从RoPE到Interleaved MRoPE，小白也能看懂的多模态基础

关注

原创最新推荐文章于 2026-10-28 09:17:30 发布 1.3k 阅读 AI 写同款· GEO 优化 ›

GLM-4.6国产大模型实战：中文长文本处理与Claude平替成本分析大语言模型（LLM）作为AI基础设施，其选型需兼顾能力、成本与落地可控性。国产大模型近年来在中文理解、长文本建模和本地化部署方面持续突破，尤其在法律、政务、金融等结构化文本场景中，展现出区别于通用模型的技术路径——如ALiBi位置编码增强外推能力、专业词表蒸馏提升领域精度。这类模型并非追求全场景SOTA，而是通过架构优化与数据适配，在垂直任务中实现高性价比闭环。GLM-4.6正是典型代表：它支持16K上下文、兼容OpenAI API协议、可在单张A10显卡完成生产级部署，显著降低API调用与数据合规风险。本阅读详情

本文系统解析了多模态大模型中位置编码的演进历程：从1D RoPE（文本序列）到2D-RoPE（图像）再到3D-RoPE（视频），最终发展为Qwen3-VL的Interleaved MRoPE。详细解释了各方法的数学原理、优缺点及代码实现，强调Interleaved MRoPE通过在频率维度上交错分配轴信息，解决了传统方法频谱不均衡、长视频位置分辨率下降等问题，使模型能更好地理解不同模态中的时空结构。

在多模态大模型中，**位置编码（Positional Encoding）并不是一个“实现细节”，而是决定模型是否真正理解结构（Structure）**的基础能力。

从：

文本的一维序列（1D）
图像的二维空间（2D）
视频的三维时空（3D）

位置建模的复杂度呈指数级上升。

Qwen3-VL 的位置编码设计，并非一次性“发明”，而是一条非常清晰、工程理性的演进路径：

RoPE（1D） → 2D-RoPE → 3D-RoPE → Interleaved MRoPE

本文将系统解析这一演进过程，并解释为什么：

Interleaved MRoPE 是 Qwen3-VL 的“基础设施级”创新，而不是简单 Trick。

一、RoPE（1D）回顾：为序列而生的旋转位置编码

1.1 RoPE 要解决什么问题？

传统 Transformer 使用绝对位置编码：

存在两个根本缺陷：

长度外推能力差（超过训练长度性能急剧下降）
注意力中无法显式建模相对位置

RoPE（Rotary Position Embedding）的目标是：

让注意力机制天然感知“相对位置”，而不是死记绝对索引。

1.2 RoPE 的核心数学定义（逐项解释）

对于序列中第 § 个 token，其 Query / Key 向量为：

RoPE 将 embedding 按偶奇维度成对视为二维向量，并进行旋转：

其中频率项定义为：

直觉解释：

每两维构成一个二维平面
不同维度使用不同频率（低频 → 长距离，高频 → 细粒度）
位置 § 被编码为旋转角度

👉 位置不再是“向量相加”，而是“相位变化”

1.3 为什么 RoPE 天然支持相对位置？

在注意力中真正使用的是内积：

该内积只与 ((p - q)) 有关，而与绝对位置无关。

因此，模型学到的是：

“你在我前面多远”，而不是“你是第几个 token”。

1.4 RoPE（1D）示意图

1.5 代码示例（1D RoPE）

import torchdef rope_1d(x, pos):    dim = x.shape[-1]    half = dim // 2    freq = torch.exp(        -torch.arange(0, half, 2, device=x.device)        * (torch.log(torch.tensor(10000.0)) / half)    )    angle = pos[:, None] * freq[None, :]    sin, cos = angle.sin(), angle.cos()    x_even = x[:, 0::2]    x_odd  = x[:, 1::2]    x_rot = torch.stack([        x_even * cos - x_odd * sin,        x_even * sin + x_odd * cos    ], dim=-1).flatten(-2)    return x_rot

二、2D-RoPE：从序列到空间（图像）

2.1 为什么 1D-RoPE 不适合图像？

图像 patch 的位置不是一个标量，而是二维坐标：

若强行 flatten 为一维序列：

空间邻近关系被破坏
不同分辨率 / 长宽比泛化能力差

2.2 2D-RoPE 的核心思想

在 embedding 维度上显式区分高度与宽度。

2.3 数学定义

对于图像 patch token：

将 embedding 拆为两半：

分别应用 RoPE：

2.4 空间直觉示意图

2.5 代码示例（2D RoPE）

def rope_2d(x, h, w):    d = x.shape[-1]    x_h, x_w = x[..., :d//2], x[..., d//2:]    x_h = rope_1d(x_h, h)    x_w = rope_1d(x_w, w)    return torch.cat([x_h, x_w], dim=-1)

三、3D-RoPE：视频中的时间 × 空间

3.1 视频多了什么？

视频 patch 的位置是三元组：

若只使用 2D-RoPE：

同一空间位置的不同时间帧不可区分
动作与事件演化难以建模

3.2 3D-RoPE 数学定义

3.3 3D 时空建模示意

3.4 代码示例（3D RoPE）

def rope_3d(x, t, h, w):    d = x.shape[-1]    dt = d // 3    x_t = rope_1d(x[..., :dt], t)    x_h = rope_1d(x[..., dt:2*dt], h)    x_w = rope_1d(x[..., 2*dt:], w)    return torch.cat([x_t, x_h, x_w], dim=-1)

四、Interleaved MRoPE：Qwen3-VL 的关键突破

4.1 传统 2D / 3D-RoPE 的根本缺陷

embedding 被“整块切分”，导致频谱分配不均衡

结果：

时间轴高频不足
长视频位置分辨率下降
注意力退化为模糊对齐

4.2 MRoPE 的核心思想

不按“轴”切 embedding，而是在“频率维度”上交错分配轴信息。

4.3 Interleaved 直觉示意

每个轴同时拥有：

低频（长距离）
高频（精细位置）

4.4 数学形式（概念化）

对于第 (k) 个二维子空间：

其中：

旋转角度由对应轴的位置决定。

4.5 代码示意（Interleaved MRoPE）

def interleaved_mrope(x, pos_t, pos_h, pos_w):    axes = [pos_t, pos_h, pos_w]    out = x.clone()    for i in range(0, x.shape[-1], 2):        axis = (i // 2) % 3        out[..., i:i+2] = rope_1d(            x[..., i:i+2],            axes[axis]        )    return out

五、方法对比总结

方法	空间	时间	频谱均衡	长视频
RoPE (1D)	❌	❌	✅	❌
2D-RoPE	✅	❌	❌	❌
3D-RoPE	✅	✅	❌	⚠️
Interleaved MRoPE	✅	✅	✅	✅

如何系统的学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一直在更新，更多的大模型学习和面试资料已经上传带到优快云的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇

在这里插入图片描述