CVPR‘25 | Scenario Dreamer：用于生成驾驶仿真环境的矢量化潜在扩散

作者 | 自动驾驶专栏 编辑 | 自动驾驶专栏

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『扩散模型』技术交流群

本文只做学术分享，如有侵权，联系删文

• 论文链接：https://arxiv.org/pdf/2503.22496

• 项目主页：https://princeton-computational-imaging.github.io/scenario-dreamer/

摘要

本文介绍了Scenario Dreamer：用于生成驾驶仿真环境的矢量化潜在扩散。本文引入了Scenario Dreamer，这是一种完全数据驱动的生成仿真器，用于自动驾驶汽车规划，它生成了初始交通场景（包含车道图和智能体边界框）和闭环智能体行为。生成驾驶仿真环境的现有方法将初始交通场景编码为栅格化图像，这需要参数庞大的网络，由于栅格化场景中存在很多空像素，因此该网络会执行不必要的计算。此外，本文发现，采用基于规则的智能体行为的现有方法缺乏多样性和真实性。因此，Scenario Dreamer采用一种新的矢量化潜在扩散模型来生成初始场景，它直接对矢量化场景元素进行操作，并且采用一种自回归Transformer进行数据驱动的智能体行为仿真。Scenario Dreamer还支持通过diffusion inpainting进行场景外推，从而生成无界的仿真环境。大量实验表明，Scenario Dreamer在真实性和效率方面优于现有的生成仿真器：矢量化场景生成基础模型实现了更优的生成质量，与最强大的基线相比，参数减少了大约2倍，生成延迟降低了6倍，GPU训练时间缩短了10倍。本文通过实验表明强化学习规划智能体在Scenario Dreamer环境中比传统的非生成仿真环境更具挑战性，从而证实了其实用性。

主要贡献

本文的贡献总结如下：

1）本文引入了Scenario Dreamer，这是一种用于自动驾驶规划的完全数据驱动生成仿真器。Scenario Dreamer的核心是一种用于初始场景生成的新型矢量化潜在扩散模型，相比于先前使用栅格化场景编码的方法，该扩散模型具有实际优势；

2）本文表明，Scenario Dreamer环境对强化学习规划器具有挑战性，特别是长时间和对抗性驾驶环境。

论文图片和表格

总结

本文提出了Scenario Dreamer，这是一种完全数据驱动的生成仿真器，用于自动驾驶规划器。Scenario Dreamer的核心包括一个初始场景生成器和一个返回条件的多智能体Transformer行为模型。本项工作的一个关键创新之处为矢量化潜在扩散模型，与栅格化场景编码方法相比，它能够实现高效且有效的场景生成。本文希望，Scenario Dreamer能够成为自动驾驶研发中完全数据驱动的生成仿真器的研究基础。

局限性：本文发现，车道的交通灯信号并不总是提供有效的交通逻辑。此外，Scenario Dreamer目前仅生成中心线地图。未来，将计划生成其它道路元素类型（例如路缘、人行横道）。

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com