2025_NIPS_From Forecasting to Planning: Policy World Model for Collaborative State-Action Prediction

文章核心总结与翻译

一、主要内容

本文提出一种名为Policy World Model（PWM） 的自动驾驶新范式，核心是将世界建模与轨迹规划统一在单一框架中，利用无动作未来状态预测机制释放所学世界知识以优化规划性能。

核心目标

解决现有自动驾驶世界模型存在的两大问题：1）世界建模与轨迹规划分离，无法充分发挥世界知识的价值；2）现有统一框架中两者仍独立执行，缺乏协同机制。

技术方案

1. 双分支图像分词器：通过高分辨率分支（冻结预训练模型）提供上下文指导，低分辨率分支将单帧压缩为28个令牌，平衡生成质量与计算效率；
2. 无动作视频生成预训练：无需动作标签数据，通过自回归生成视频令牌序列，实现未来状态预测；
3. 动态焦点损失（DFL）：对帧间变化的令牌分配更高权重，增强模型捕捉时空动态的能力；
4. 并行令牌生成机制：单帧内所有令牌并行生成，提升视频预测效率；
5. 端到端协同规划：结合当前环境文本描述、预测未来状态与导航指令，通过自回归Transformer预测轨迹