迈向『闭环』| PlanAgent：基于MLLM的自动驾驶闭环规划新SOTA！

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享中科院自动化所&理想汽车最新的工作—PlanAgent，文章提出一种全新基于多模态大语言模型MLLM的自动驾驶闭环规划框架，问鼎nuPlan SOTA！如果您有相关工作需要分享，请在文末联系我们！

也欢迎添加小助理微信AIDriver004，加入我们的技术交流群

>>点击进入→自动驾驶之心『闭环规划』技术交流群

论文作者 | Yupeng Zheng等

编辑 | 自动驾驶之心

中科院自动化所深度强化学习团队联合理想汽车等提出了一种新的基于多模态大语言模型MLLM的自动驾驶闭环规划框架—PlanAgent。该方法以场景的鸟瞰图和基于图的文本提示为输入，利用多模态大语言模型的多模态理解和常识推理能力，进行从场景理解到横向和纵向运动指令生成的层次化推理，并进一步产生规划器所需的指令。在大规模且具有挑战性的nuPlan基准上对该方法进行了测试，实验表明PlanAgent在常规场景和长尾场景上都取得了最好(SOTA)性能。与常规大语言模型(LLM)方法相比，PlanAgent所需的场景描述词符(token)量仅为1/3左右。

论文信息

• 论文题目：PlanAgent: A Multi-modal Large Language Agent for Closed loop Vehicle Motion Planning

• 论文发表单位：中科院自动化所，理想汽车，清华大学，北京航空航天大学

• 论文地址：https://arxiv.org/abs/2406.01587

• 

1 引言

作为自动驾驶的核心模块之一，运动规划的目标是产生一条安全舒适的最优轨迹。基于规则的算法，如PDM[1]算法，在处理常见场景时表现良好，但往往难以应对需要更复杂驾驶操作的长尾场景[2]。基于学习的算法[2,3]常常会在长尾情况下过拟合，导致其在nuPlan中的性能并不如基于规则的方法PDM。

最近，大语言模型的发展为自动驾驶规划开辟了新的可能性。最新的一些研究尝试利用大语言模型强大的推理能力增强自动驾驶算法的规划和