第一篇：大模型的下一站——世界模型为何是通往通用智能的关键

第一篇：大模型的下一站——世界模型为何是通往通用智能的关键

一、ChatGPT 很聪明，但它不真正理解世界

大语言模型通过预测下一个 Token 学习知识：

[
P(x_{t+1}\mid x_1,x_2,\ldots,x_t)
]

给定前文，模型计算下一个词出现的概率。

这条路线取得了巨大成功，但它存在一个根本限制：语言只是现实世界的描述，并不是现实世界本身。

一个语言模型可以知道：

• 杯子从桌边掉下去可能摔碎；
• 汽车高速转弯可能侧滑；
• 水泵关闭后管道压力可能下降。

但“知道这句话”不等于建立了可用于预测和控制的物理模型。

现实环境是连续、动态且可交互的。智能体执行一个动作后，必须判断环境会如何变化：

当前状态 + 动作 → 下一时刻状态

这正是世界模型要解决的问题。

二、什么是世界模型

世界模型是智能体在内部建立的环境模拟器。

它需要回答三个问题：

1. 当前环境处于什么状态？
2. 如果执行某个动作，环境会发生什么变化？
3. 哪个动作最有可能实现目标？

一个典型世界模型可以表示为：

[
z_t = E(o_{\leq t})
]

[
\hat z_{t+1}=F(z_t,a_t)
]

[
\hat o_{t+1}=D(\hat z_{t+1})
]

其中：

• (o_t)：摄像头、传感器、文本等观测；
• (z_t)：环境的内部隐状态；
• (a_t)：智能体采取的动作；
• (F)：环境动力学模型；
• (D)：将隐状态还原为可观察结果。

编码器 (E) 首先将高维视频、图像和传感器数据压缩为隐状态；动力学模型 (F) 根据当前状态和动作预测未来；解码器 (D) 则可以把预测结果还原成图像或视频。

真正有价值的并不是生成一段“看起来合理”的视频，而是准确预测动作会带来什么结果。

三、世界模型与大语言模型有什么不同

大语言模型主要建模的是：

文本 → 文本

多模态大模型扩展为：

图像、语音、视频、文本 → 文本

世界模型关注的则是：

当前环境 + 候选动作 → 未来环境

两者的关键区别在于“动作”。

没有动作条件，模型学习到的主要是视觉和语义规律；加入动作以后，模型才能学习因果关系：

• 机械臂向左移动，物体在画面中的相对位置怎样变化；
• 机器人增加关节力矩，运动轨迹如何改变；
• 调整冷却系统频率，设备温度和能耗如何变化；
• 无人车转动方向盘，未来道路视野如何变化。

因此，世界模型不是普通视频生成模型。它的目标不是生成好看的画面，而是成为可以用于决策的未来预测器。

四、世界模型的四条主要技术路线

1. 像素级生成路线

模型直接预测未来的视频帧：

[
\hat o_{t+1}=G(o_{\leq t},a_t)
]

这种方式直观、可解释，人类可以直接观察预测结果。

但像素空间包含大量与决策无关的信息，例如阴影、纹理、光照和背景。模型需要耗费大量计算资源生成这些细节。

一台机器人拿起杯子时，真正重要的是：

• 杯子的位置；
• 机械臂与杯子的距离；
• 接触是否稳定；
• 下一步动作会不会碰撞。

至于杯子表面的纹理是否完全还原，通常并不重要。

2. 潜空间动力学路线

模型将视频压缩到潜空间，只预测关键状态：

[
z_t=E(o_t)
]

[
\hat z_{t+1}=F(z_t,a_t)
]

潜空间可以过滤无关视觉细节，使模型专注于物体、运动和空间关系。

Dreamer 等模型的核心思想便是：智能体不必每次都在真实环境中试错，可以在学习到的潜空间里进行“想象”，再根据想象结果选择动作。

其优势是推理速度快、训练效率高；不足是潜空间可能遗漏细小但重要的物理信息。

3. 联合嵌入预测路线

JEPA（Joint Embedding Predictive Architecture）不要求重建所有像素，而是在抽象表示空间预测未来。

简化目标可以表示为：

[
\mathcal{L}=\left|P(E(x_{\text{context}}))-E(x_{\text{target}})\right|^2
]

其中：

• (E) 将输入映射为抽象语义表示；
• (P) 根据上下文预测目标区域或未来状态；
• 模型比较的是语义表示，而不是逐像素误差。

这种设计避免模型浪费算力预测不可预测的细节。例如树叶的精确摆动可能无法确定，但“有人正在走近桌子”是可以预测且对决策有价值的。

Meta 的 V-JEPA 2 就体现了这条路线：先从大规模无动作视频中学习世界规律，再通过少量带动作的机器人数据进行动作条件训练。

4. 交互式生成世界路线

另一条路线是直接生成可实时交互的环境。

Google DeepMind 的 Genie 系列尝试根据文本或图像生成可以被控制、探索的动态世界。它与普通视频生成最大的区别是：用户动作会改变后续内容。

这类模型可用来生成：

• 机器人训练环境；
• 自动驾驶极端场景；
• 游戏和虚拟空间；
• 安全事故模拟环境；
• 现实中难以采集的长尾数据。

如果模型能够生成具有稳定物理规律的交互环境，AI 就可以在内部进行近乎无限的低成本训练。

五、为什么视频是世界模型的重要数据来源

文本主要包含人类总结后的知识，而视频记录了世界运行的原始过程。

一段普通视频中包含：

• 物体恒常性；
• 空间关系；
• 运动速度；
• 碰撞与遮挡；
• 重力和惯性；
• 人类操作物体的方式；
• 行为与结果之间的关系。

视频让模型看到“事情是如何发生的”，而不仅仅是“人类如何描述事情”。

不过，纯视频通常缺少明确动作标签。模型能看到机械臂移动，却不一定知道当时控制器发送了什么指令。

因此，世界模型一般需要两阶段训练：

第一阶段：无动作视频预训练
目标：学习视觉、空间和运动规律

第二阶段：动作条件训练
目标：学习动作如何改变环境

这种方式比完全依赖昂贵的机器人数据更具扩展性。

六、世界模型如何用于决策

假设机器人当前状态为 (z_t)，目标状态为 (z_g)，世界模型可以模拟不同动作序列：

[
a_{t:t+H}=(a_t,a_{t+1},\ldots,a_{t+H})
]

每组动作都会得到一条预测轨迹：

[
\hat z_{t+1:t+H}=F(z_t,a_{t:t+H})
]

规划器计算每条轨迹与目标之间的代价：

[
J=\sum_{k=1}^{H}C(\hat z_{t+k},z_g)+\lambda R(a_{t+k})
]

其中：

• (C)：当前预测状态与目标之间的距离；
• (R)：碰撞、能耗、动作幅度等风险代价；
• (H)：预测时间范围。

系统选择代价最小的动作序列，只执行第一个动作，然后重新观察环境并再次规划。

这就是模型预测控制 MPC 的基本思想：

观察环境
  ↓
模拟多种未来
  ↓
选择最优动作
  ↓
执行一步
  ↓
重新观察并规划

智能体不需要一次性规划完整未来，而是在执行过程中持续修正。

七、当前世界模型还缺少什么

1. 长时间一致性

短时间视频预测可能非常逼真，但预测时间越长，误差越容易累积：

[
\epsilon_{t+n}\approx \sum_{i=1}^{n}\epsilon_i
]

一个微小的位置偏差经过多步传播，最终可能演变成完全错误的场景。

2. 因果关系

模型可能学会“两个事件经常同时出现”，却未必理解谁导致了谁。

例如设备报警经常伴随温度上升，不代表报警导致温度上升。没有干预数据，模型很难准确识别因果关系。

3. 隐藏状态

摄像头只能看到外部现象，无法直接看到：

• 电池内部健康状态；
• 管道内部压力；
• 电机绕组温度；
• 地面摩擦系数；
• 设备内部疲劳程度。

因此，工业世界模型不能只依赖视频，还需要融合传感器、设备台账、控制指令和维护记录。

4. 不确定性

现实世界并不总有唯一未来。世界模型需要预测未来分布：

[
P(z_{t+1}\mid z_t,a_t)
]

而不是只输出一个看似确定的结果。

当多个未来都可能发生时，系统还应评估置信度，并在不确定性过高时停止自动执行。

八、世界模型为何可能成为下一代基础模型

语言模型压缩了人类知识，世界模型试图压缩现实世界运行规律。

未来两者很可能融合：

语言模型：理解目标、知识与规则
世界模型：预测环境与动作结果
策略模型：选择具体动作
工具系统：连接软件和现实设备
安全系统：约束执行边界

语言模型负责回答“我们想做什么”，世界模型负责回答“这样做会发生什么”。

这意味着 AI 将从生成答案，走向预测、规划和行动。

结语

世界模型真正重要的地方，不在于它能生成多么逼真的视频，而在于它为机器提供了一种低成本试错能力。

人类在行动前会想象结果：

如果我这样做，接下来会发生什么？

当 AI 也具备这种能力，它才可能从依赖语言模式的生成系统，进化为能够理解环境、规划未来并安全行动的智能体。

---