nuPlan新SOTA！清华提出Diffusion Planner：扩散模型重塑自动驾驶路径规划（ICLR'25）...

最新推荐文章于 2025-04-11 01:00:00 发布

转载最新推荐文章于 2025-04-11 01:00:00 发布 · 747 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247652603&idx=1&sn=66c0870175cb826362ea50aa7dcc461a&chksm=cfc9d7f2e051424f26420828edf1f733acebd713da8c7c10ba899d6088806f4ffc8d6214ae42&scene=126&sessionid=0

文章标签：

#自动驾驶 #人工智能 #机器学习

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享清华大学联合毫末智行、自动化所、港中文、上海交大、上海人工智能实验室发表于ICLR 2025的最新工作—灵活引导下的基于扩散模型的自动驾驶路径规划Diffusion Planner！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『扩散模型』技术交流群

论文作者 | Yinan Zheng等

编辑 | 自动驾驶之心

本文介绍了清华大学联合毫末智行、自动化所、港中文、上海交大、上海人工智能实验室的发表于ICLR 2025的最新研究成果《Diffusion-based Planning for Autonomous Driving with Flexible Guidance》。该算法创新性地设计了基于 Diffusion Transformer 的自动驾驶规划模型架构，高效处理复杂场景输入，并联合建模周车运动预测与自车规划中的多模态驾驶行为，充分发挥扩散模型在闭环规划中的潜力，解决了现有基于学习的规划方法对后处理的严重依赖问题。此外，借助扩散模型的引导机制，模型在部署阶段能够灵活适应不同的驾驶需求，提高泛化能力与实用性。

论文链接：https://arxiv.org/pdf/2501.15564

项目主页：https://zhengyinan-air.github.io/Diffusion-Planner/

背景介绍

自动驾驶规划正朝着更安全、高效的方向发展，但在复杂环境下实现类人驾驶仍具挑战。基于规则的方法虽在工业应用中取得成功，但适应性差，调整成本高；模仿学习能直接学习专家驾驶行为，并随训练数据扩展提升性能。然而，模仿学习方法在多模态行为适应性、泛化能力和驾驶风格灵活调控上仍存挑战，依赖后处理来优化模型输出。

近年来，扩散模型在决策领域得到广泛应用，但在自动驾驶规划中的探索仍有限。现有研究多聚焦于运动预测和场景生成，关注开环性能，而非闭环规划。一些方法尝试将扩散模型应用于规划任务，但仅仅是沿用现有结构或扩展模型参数，缺乏针对性结构设计，导致仍然高度依赖后处理。

为此，我们提出了Diffusion Planner，一种创新的基于扩散模型的自动驾驶规划方法。通过扩散模型强大的数据分布拟合能力，Diffusion Planner能够精准捕捉复杂场景中周车与自车的多模态驾驶行为，并实现周车预测与自车规划的联合建模。同时，基于Transformer的结构设计高效处理复杂场景输入，实现20Hz的高速实时推理。此外，借助灵活的引导机制，模型在部署阶段即可适应不同的驾驶需求。在大规模真实数据集 nuPlan 的闭环评估中，Diffusion Planner取得了SOTA级表现，⼤幅降低了对后处理的依赖，并在额外收集的 200 小时物流小车数据上验证了其在多种驾驶风格下的鲁棒性和迁移能力。

Diffusion Planner 技术细节

Diffusion Planner专为自动驾驶闭环规划设计，具备以下特点：

基于DiT架构融合加噪轨迹与条件信息，推理速度可达20Hz；
联合建模自车与周车的未来轨迹，将运动预测与闭环规划统一为未来轨迹生成；
采用扩散模型的引导机制，实现具有偏好的轨迹生成。

模型结构设计

在自动驾驶中，自车与周围车辆之间的紧密互动使得规划与预测任务必须高度协同。为了应对复杂的交通场景，准确预测邻近车辆的未来轨迹至关重要。这不仅提升了闭环规划模型的能力，还能增强系统的安全性和可控性。我们通过联合建模关键参与者的状态，将运动预测与闭环规划任务统一为一个未来轨迹生成任务。我们希望模型能够同时生成所有关键参与者的未来轨迹，从而实现更加自然的协同行为。

然而，多车交互的复杂场景会产生更加多样的驾驶行为，增加了训练的难度。为此，我们采用了扩散模型的框架进行训练，并基于Diffusion Transformer设计了针对自动驾驶规划的结构。

具体而言，我们考虑了周围车辆的历史信息、道路信息和静态障碍物，设计了简洁的编码器结构用于信息提取，并通过交叉注意力机制与加噪后的自车和周车轨迹进行信息交互。此外，我们还引入了额外的导航信息以及扩散模型特有的加噪步数信息。为了避免模型重复自车历史行为导致闭环性能下降，我们仅考虑自车当前时刻的位置和朝向，并与周车的当前状态一起拼接到加噪轨迹中。通过这种方式，起始状态的引导还能进一步降低模型对未来轨迹生成的难度。

有偏好轨迹生成

基于扩散模型的引导机制，我们可以在模型的测试阶段引入安全，舒适等偏好，同时也可以根据用户需求灵活的改变模型输出的轨迹特性，例如速度特性。此外，不同的偏好可以通过加权求和轻松组合，并且在部署阶段可以灵活选择是否启用，提供更大的灵活性。

实验结果

nuPlan闭环仿真

下图展示了Diffusion Planner与其他自动驾驶规划算法在nuPlan数据集上的表现对比。我们在三个常用测试基准上进行了比较，结果显示Diffusion Planner达到了SOTA性能水平。通过引入现有的后处理模块，算法性能得到了进一步提升，这得益于模型生成的高质量轨迹，为后处理模块提供了更优的初始化参考轨迹。

此外，我们还对比了现有基于扩散模型的自动驾驶规划算法。与现有方法相比，Diffusion Planner 有效降低了对后处理的依赖，同时实现了更高的推理频率，进一步验证了我们设计结构的有效性。

轨迹生成可视化

为了进一步展示Diffusion Planner在轨迹生成方面的优势，我们选择了狭窄路段的左转场景，并与现有方法的无后处理版本进行了对比，如下图所示。Diffusion Planner生成了高质量的轨迹，不仅准确预测了周围车辆的行为，还生成了平滑的自车规划轨迹，合理地考虑了前车的速度，充分体现了预测与规划任务联合建模以及扩散模型生成的优势。

毫末智行物流小车数据集

我们使用毫末智行收集的约200小时真实世界物流小车配送数据，作为nuPlan数据集的补充，并计划后续开源。与nuPlan数据集中的车辆相比，配送车具有以下特点：尺寸较小，运行速度较低；可以在主干道和自行车道上行驶；与行人和骑行者的交互更为频繁，同时面临不同的行驶规则。通过在该数据集上进行测试，我们发现Diffusion Planner依然保持了最佳表现。相比之下，基于规则或依赖后处理的方法由于其设计存在对nuPlan数据的过拟合问题，导致在新场景中的性能下降。这进一步证明了Diffusion Planner在适应不同驾驶行为方面的鲁棒性。

有偏好轨迹生成案例

为了进一步展示引导机制的有效性，我们挑选了部分场景，从相同起始位置出发，展示了闭环测试结果。红色虚线和空心黄色车代表没有引导的结果，而红色实线和实心黄色车则表示有引导的结果。

总结

在本文中，我们提出了 Diffusion Planner，一种基于模仿学习的自动驾驶规划方法，充分发挥扩散模型的强大表达能力和灵活的引导机制。我们设计了基于 Diffusion Transformer 的模型架构，联合建模运动预测与规划任务中的多模态数据分布，并利用扩散模型的引导机制，使模型生成的规划行为与目标驾驶风格保持一致。Diffusion Planner 在 nuPlan 数据集及新收集的 200 小时物流车驾驶数据集上取得了 SOTA 级别的闭环性能，并展现出对不同驾驶风格的强大适应性。

① 自动驾驶论文辅导来啦

② 国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

③全网独家视频课程

端到端自动驾驶、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频（扫码即可学习）