地平线&港大最新端到端进展！HE-Drive：VLM+扩散模型发大力

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享地平线&港大等团队在端到端自动驾驶上的最新工作—HE-Drive！使用视觉大语言模型模仿人类驾驶行为的端到端算法。如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

论文作者 | Junming Wang等

编辑 | 自动驾驶之心

写在前面&笔者的个人理解

本文提出了HE-Drive：首个模仿人类驾驶为核心的端到端自动驾驶系统，旨在生成同时具备时间一致性和舒适性的轨迹。近期研究表明，基于模仿学习的规划器和基于学习的轨迹评分器能够有效生成并选择高度模仿专家演示的准确轨迹。然而这类轨迹规划和评分器面临生成时间不一致且不舒适的轨迹的困境。为了解决上述问题，HE-Drive首先通过稀疏感知提取关键的三维空间表示，这些表示随后作为条件输入，传递给基于条件去噪扩散概率模型（DDPM）的运动规划器，生成具备时间一致性的多模态轨迹。随后，基于视觉语言模型（VLM）引导的轨迹评分器从这些候选轨迹中选择最舒适的轨迹来控制车辆，确保类人的端到端驾驶体验。实验结果表明，HE-Drive在nuScenes和OpenScene数据集上实现了SOTA性能（即比VAD减少了71%的平均碰撞率）和效率（即比SparseDrive快1.9倍），同时在真实世界数据中提供了最舒适的驾驶体验。

• 代码链接：https://github.com/jmwang0117/HE-Drive

总结来说，本文的主要贡献如下：

• 基于扩散的运动规划：本文提出了一种基于扩散的运动规划器，通过以稀疏感知网络提取的3D表示为条件，并结合历史预测轨迹的速度、加速度和偏航角，生成时间一致性和多模态的轨迹。

• 即插即用的轨迹评分：本文引入了一种新颖的基于视觉语言模型（VLMs）引导的轨迹评分器及舒适度指标，弥补了类人驾驶的不足，使其能够轻松集成到现有的自动驾驶系统中。

• 优秀的开环和闭环测试结果：HE-Drive在nuSce