第四篇：世界模型如何训练——从视频 Tokenizer 到潜空间动力学
一、训练目标不是生成视频，而是学习“可行动的未来”
一个真正可用于决策的世界模型，需要学习：
[
P(s_{t+1:t+H}\mid s_t,a_{t:t+H},c)
]
其中：
- (s_t)：当前环境状态；
- (a_t)：动作；
- (c)：天气、负荷、设备类型等条件；
- (H)：预测时间范围。
训练难点不在于让未来画面看起来逼真，而在于保留所有影响行动的状态：
物体在哪里
物体如何运动
设备处于什么工况
动作会改变什么
风险是否正在累积
哪些信息无法确定
因此，世界模型的数据组织、状态表示和损失函数，必须围绕“预测与控制”设计。
二、世界模型需要什么训练数据
一个标准训练样本可以表示为：
[
\tau=
(o_1,a_1,r_1,o_2,a_2,r_2,\ldots,o_T)
]
其中：
- (o_t)：摄像头、温度、压力、声音等观测；
- (a_t)：机器人动作或控制指令；
- (r_t)：动作收益；
- (T)：轨迹长度。
工业场景中可进一步扩展为：
{
"timestamp": "2026-09-03T10:21:36.125+08:00",
"observations": {
"video_uri": "s3://bucket/camera-02/segment.mp4",
"temperature": 68.4,
"pressure": 0.52,
"vibration_rms": 4.21,
"power_kw": 124.7
},
"action": {
"type": "SET_FREQUENCY",
"target": "pump_02",
"before": 45.0,
"after": 42.5
},
"context": {
"outdoor_temperature": 31.2,
"production_load": 0.78
},
"next_state": {
"temperature": 66.9,
"pressure": 0.49,
"power_kw": 116.3
}
}
训练数据最重要的质量指标不是数量，而是以下四点：
- 多模态时间是否对齐；
- 动作是否真实记录；
- 动作结果是否被完整观测；
- 异常和边界工况是否得到覆盖。
如果 PLC 指令与传感器数据相差几秒，模型就可能把动作发生前的状态误认为动作结果。
三、视频为什么必须先被 Token 化
原始视频规模极大。
一段 10 秒、每秒 30 帧、分辨率为 (1920\times1080) 的 RGB 视频，包含的数据量约为：
[
10\times30\times1920\times1080\times3
]
这接近 18 亿个像素值，无法直接送入长序列 Transformer。
因此需要视频 Tokenizer：
[
z=E(x),\qquad \hat x=D(z)
]
编码器 (E) 将视频压缩为潜变量，解码器 (D) 将潜变量还原为视频。
离散 Token
VQ-VAE 类方法将视觉特征映射到码本中的离散编号：
[
z_q=\arg\min_{e_k\in\mathcal{C}}|z_e-e_k|
]
优点是可以像语言 Token 一样进行自回归预测；不足是码本容量有限，可能丢失细节。
连续 Token
连续潜变量保留更多信息，适合扩散模型和连续动力学模型，但计算和存储成本通常更高。
工业 Tokenizer 的特殊要求
娱乐视频可以容忍局部重建误差，工业场景不能轻易丢失：
- 仪表数字；
- 微小裂纹；
- 烟雾初始形态；
- 螺栓位置；
- 指示灯颜色；
- 机械臂与障碍物之间的毫米级间隙。
因此，工业视频通常需要全局与局部双通道编码：
全局低分辨率通道：理解场景和运动
局部高分辨率通道：识别仪表、缺陷和危险区域
四、潜空间动力学模型
世界模型不需要每次都在像素空间预测未来。更高效的方案是把观测编码成潜状态：
[
z_t=E(o_t)
]
然后学习状态转移：
[
\hat z_{t+1}=F(z_t,a_t)
]
一个典型的循环状态空间模型可以拆成两部分：
[
h_t=f(h_{t-1},z_{t-1},a_{t-1})
]
[
z_t\sim P(z_t\mid h_t,o_t)
]
其中：
- (h_t)：确定性历史状态；
- (z_t)：包含不确定性的随机状态。
这种结构同时表示“已经发生的历史”和“当前无法完全确定的环境”。
Dreamer 系列进一步在潜空间中预测：
[
\hat o_t=D(h_t,z_t)
]
[
\hat r_t=R(h_t,z_t)
]
[
\hat c_t=C(h_t,z_t)
]
分别对应观测、收益和轨迹是否继续。
智能体不必在现实环境反复试错，而可以在潜空间中生成想象轨迹。
五、三类训练目标
1. 重建目标
要求潜状态能够还原原始观测：
[
\mathcal{L}_{rec}
|o_t-\hat o_t|
]
它有利于保存视觉细节，但可能让模型过度关注背景纹理。
2. JEPA 表征预测目标
要求预测表示接近目标表示：
[
\mathcal{L}_{jepa}
|\hat z_{t+k}-\operatorname{sg}(z_{t+k})|_2^2
]
其中 (\operatorname{sg}) 表示停止梯度。
这种方法不要求重建全部像素，更容易学习抽象语义和运动关系。
3. 控制相关目标
如果模型用于决策，还应学习收益、风险和约束：
[
\mathcal{L}_{control}
\lambda_r\mathcal{L}{reward}
+\lambda_v\mathcal{L}{value}
+\lambda_c\mathcal{L}_{constraint}
]
最终损失可以组合为：
[
\mathcal{L}
\lambda_1\mathcal{L}{rec}
+\lambda_2\mathcal{L}{jepa}
+\lambda_3\mathcal{L}{dynamics}
+\lambda_4\mathcal{L}{control}
]
不同任务需要不同权重。视频理解偏向表征学习，机器人控制则必须提高动作和风险目标的比重。
六、为什么单步预测远远不够
如果只训练：
[
z_t,a_t\rightarrow z_{t+1}
]
模型可能具有很高的单步准确率，却在连续滚动预测时迅速漂移。
更合理的是多步训练：
[
\mathcal{L}_{multi}
\sum_{k=1}^{H}
\gamma^{k-1}
d(\hat z_{t+k},z_{t+k})
]
其中 (\gamma) 控制远期预测权重。
还可以在训练时交替使用真实状态和模型预测状态，让模型提前适应推理阶段的误差积累。
长期预测不应只看平均误差，还应关注：
- 物体身份是否持续一致；
- 拓扑关系是否变化；
- 物理量是否越界；
- 风险趋势是否正确；
- 置信区间是否扩大。
越远的未来越不确定，模型应主动表达这种不确定性，而不是生成虚假的确定答案。
七、不确定性建模
现实未来通常不是唯一的。
给定车辆前方的一名行人，可能出现：
- 行人继续等待；
- 行人突然横穿；
- 行人后退；
- 行人被其他物体遮挡。
因此模型应预测分布：
[
P(z_{t+1}\mid z_t,a_t)
]
而不是单个结果。
工程上可以使用：
- 概率分布输出；
- 模型集成；
- Monte Carlo Dropout；
- 扩散式多轨迹采样；
- 分位数回归；
- Conformal Prediction。
规划时不应只选择平均收益最高的动作，而要考虑最坏情况：
[
a^*
\arg\max_a
\left[
\mathbb{E}(R\mid a)
-\beta\operatorname{Risk}(a)
\right]
]
(\beta) 越大，系统越保守。
八、完整训练流水线
原始视频、传感器、动作日志
↓
统一时钟与轨迹切分
↓
异常值清洗和数据质量评分
↓
视频与多模态 Tokenizer
↓
无动作自监督预训练
↓
动作条件动力学训练
↓
收益、风险与约束训练
↓
仿真环境离线评测
↓
真实环境 Shadow Mode
↓
小范围受控上线
训练数据还应划分为：
- 普通工况集；
- 异常工况集；
- 极端边界集；
- 分布外测试集；
- 安全红队集。
随机切分视频帧会造成严重数据泄漏。来自同一次运行轨迹的相邻片段不能同时进入训练集和测试集。
九、训练世界模型最常见的误区
误区一：视频越逼真，模型越好
视觉质量只代表生成能力，不代表预测正确性。
误区二：没有动作数据也能学会控制
无动作视频可以学习世界规律，却难以准确学习控制因果。
误区三：单步误差低即可上线
连续执行中的误差累积，才是实际风险来源。
误区四：所有数据都交给一个大模型
高频控制、长期趋势和语言知识具有不同时间尺度，应采用分层模型。
误区五：忽略失败轨迹
成功轨迹告诉模型如何完成任务，失败轨迹告诉模型哪些动作不能做。对安全系统而言，失败数据往往更重要。
结语
训练世界模型的本质，是把原始现实压缩成一个可以用于预测、想象和规划的内部空间。
真正优秀的世界模型不仅要回答“未来看起来怎样”，还要回答：
未来为什么会这样
哪个动作导致这种变化
预测有多大把握
什么情况下必须停止行动
293
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
