次元突破！OccSora：深刻演化自动驾驶4D Occ世界（北航&清华）

最新推荐文章于 2025-10-14 07:31:28 发布

原创

最新推荐文章于 2025-10-14 07:31:28 发布 · 1.5k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶 #人工智能 #机器学习

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享北航&UC Berkeley&清华最新的工作—OccSora，文章提出了一个基于扩散的4D占用生成模型OccSora来模拟自动驾驶世界模型的进展。本文已经授权自动驾驶之心原创！如果您有相关工作需要分享，请在文末联系我们！

也欢迎添加小助理微信AIDriver004，加入我们的技术交流群

>>点击进入→自动驾驶之心『占用网络』技术交流群

论文作者 | Lening Wang等

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

文章提出了一个基于扩散的4D占用生成模型OccSora来模拟自动驾驶世界模型的进展。该模型使用一个四维场景标记器来获得四维占用输入的时空表示，并实现长序列占用视频的高质量重建。然后，学习时空表征的扩散转换器，并根据轨迹提示生成4D占用。OccSora可以生成具有真实3D布局和时间一致性的16秒视频，展示其对驾驶场景时空分布的理解能力。

开源链接：https://wzzheng.net/OccSora/

主要贡献

传统的自动驾驶模型依靠车辆自身的运动来模拟场景的发展，所以无法像人类那样对场景感知和车辆运动有深刻的理解；世界模型的出现能够更深层次地理解自动驾驶场景和车辆运动之间的综合关系。然而现阶段的大多数方法采用自回归框架来模拟3D场景，这阻碍了该模型有效地生成长期视频序列的能力。

所以如图1所示，相较于先前的方法，该模型基于2D视频生成模型Sora，提出了一个4D世界模型OccSora。其设计了一种基于扩散的世界模型来实现遵循物理规律的可控场景生成。具体来说，采用多维扩散技术传递准确时空四维信息，并以真实汽车轨迹为条件实现轨迹可控的场景生成，从而更深入地理解自动驾驶场景与车辆运动之间的关系。OccSora通过训练和测试，可以生成符合物理逻辑的自动驾驶4D占用场景，实现基于不同轨迹的可控场景生成。提出的自动驾驶4D世界模型为理解自动驾驶和物理世界中的动态场景变化开辟了新的可能性。