英伟达Hydra-MDP++:基于专家引导的Hydra-Distillation推进端到端驾驶

作者 | 自动驾驶专栏 编辑 | 自动驾驶专栏

点击下方卡片,关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

本文只做学术分享,如有侵权,联系删文

  • 论文链接:https://arxiv.org/pdf/2503.12820

  • 项目链接:https://github.com/NVlabs/Hydra-MDP

图片

摘要

图片

本文介绍了Hydra-MDP++:基于专家引导的Hydra-Distillation推进端到端驾驶。Hydra-MDP++引入了一种新的教师-学生知识蒸馏框架,该框架具有多头解码器,它可以从人类演示和基于规则的专家处学习。该框架使用没有复杂组件的轻量级ResNet-34网络,并且加入了扩展的评估指标(包括交通信号灯合规性(TL)、车道保持能力(LK)和扩展舒适性(EC)),以应对传统的NAVSIM-derived教师无法捕获的不安全行为。与其它端到端自动驾驶方法一样,Hydra-MDP++直接处理原始图像,而不依赖于感知信号。Hydra-MDP++通过集成那些在NAVSIM上具有91.0%驾驶得分的组件,实现了最先进的性能,结果证明了其在维持计算效率的同时能够有效地处理各种驾驶场景。

图片

主要贡献

图片

本文的贡献总结如下:

1)本文引入了Hydra-MDP++,这是一种新型的端到端自动驾驶框架,它结合了人类演示和基于规则的专家;

2)本文所提出的方法仅使用轻量级ResNet-34网络在NAVSIM上实现了最佳的性能。Hydra-MDP++通过将图像编码器扩展为V2-99,实现了91.0%的驾驶得分;

3)本文通过加入交通信号灯合规性(TL)、车道保持能力(LK)和扩展舒适性(EC)教师来解决NAVSIM-derived教师中的问题,以反映更好的驾驶决策。

图片

论文图片和表格

图片

图片

总结

图片

本文提出了Hydra-MDP++,这是一种最先进的端到端运动规划器,旨在结合基于规则的方法和神经规划方法的优势。Hydra-MDP++通过学习大量的人类驾驶演示和基于规则的专家提供的理解,能够更有效地在复杂环境中导航。为了解决现有评估指标的不足,本文扩展了教师模型以包括关键方面,例如交通信号灯合规性、车道保持能力和扩展舒适性。这种综合方法确保了驾驶场景中的决策过程鲁棒、适应性强并且符合安全标准。

自动驾驶之心

论文辅导来啦

知识星球交流社区

近4000人的交流社区,近300+自动驾驶公司与科研结构加入!涉及30+自动驾驶技术栈学习路线,从0到一带你入门自动驾驶感知(大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪)、自动驾驶定位建图(SLAM、高精地图、局部在线地图)、自动驾驶规划控制/轨迹预测等领域技术方案、大模型,更有行业动态和岗位发布!欢迎加入。

独家专业课程

端到端自动驾驶大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网:www.zdjszx.com

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值