2025_NIPS_Orbis: Overcoming Challenges of Long-Horizon Prediction in Driving World Models

文章核心总结与翻译

一、主要内容

本文聚焦自动驾驶场景下世界模型的长时预测与复杂场景泛化难题，针对现有模型在转弯、城市交通等复杂场景中长时生成性能不足、依赖额外传感器或标注的问题展开研究。

1. 研究背景：现有自动驾驶世界模型（如Vista、GEM等）虽能生成高质量短帧视频，但在长时预测（如超过10秒）和复杂机动场景中存在缺陷，如轨迹漂移、画面模糊、过早停止生成等；同时存在离散令牌模型与连续模型哪种更适合长时预测的争议。
2. 核心方法：
   • 提出混合离散-连续令牌器（Hybrid Tokenizer），支持两种建模方式的公平对比，通过语义令牌和细节令牌的分离编码提升表征能力。
   • 分别构建基于流匹配（Flow Matching）的连续自回归模型和基于MaskGIT的离散自回归模型，均基于纯原始视频数据训练，无需地图、深度信息等额外监督。
   • 引入轨迹分布级评估指标（如Fréchet距离、ADE的精确率-召回率），弥补传统FVD等指标对驾驶动力学敏感性不足的问题。
3. 实验结果：
   • 连续流匹配模型（Orbis）表现最优，仅4.69亿参数、280小时训练数据，在nuPlan、Waymo等数据集上实现SOTA性能，尤其在20秒长时预测和转弯场景中稳定生成真实轨迹与画面。
   • 离散模型虽能支持长时生成，但存在内容复制倾向、小运动捕捉不足等问题，对令牌器设计细节更敏感。