重新定义端到端自动驾驶！SparseDrive：所有任务都超过现有SOTA（清华&地平线）...

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享清华&地平线最新的工作—SparseDrive！重新定义端到端自动驾驶任务设计，所有任务都超过现有SOTA！如果您有相关工作需要分享，请在文末联系我们！

也欢迎添加小助理微信AIDriver004，加入我们的技术交流群

>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

论文作者 | Wenchao Sun等

编辑 | 自动驾驶之心

论文链接：https://arxiv.org/pdf/2405.19620
github链接: https://github.com/swc-17/SparseDrive

写在前面 & 笔者理解

不得不说，地平线真的很喜欢在在sparse上做文章！之前开源的3D目标检测工作"Sparse4D"，无论是性能还是部署端的友好程度，都在业内不小的反响。这篇论文，地平线又通过稀疏的场景表达，实现端到端的自动驾驶，达到 SOTA。命名为"SparseDrive"!

在端到端火热起来之前，成熟的模块化自动驾驶系统被分解为不同的独立任务，例如感知、预测和规划，从而导致模块间信息丢失和错误累积。相比之下，端到端范式将多任务统一到一个完全可微分的框架中，从而允许以规划为导向进行优化。尽管端到端范式具有巨大潜力，但现有方法的性能和效率都不令人满意，特别是在规划安全方面。作者将其归因于计算成本高昂的 BEV 特征以及较为简单的预测和规划设计。为此，作者探索了稀疏表示并回顾了端到端自动驾驶的任务设计，提出了一个名为 SparseDrive 的新范式。具体点说，SparseDrive 由对称稀疏感知模块和并行运动规划器组成。稀疏感知模块将检测、跟踪和在线建图与对称模型架构统一起来，学习驾驶场景的完全稀疏表示。对于运动预测和规划，我们发现这两个任务之间的巨大相似性，从而为运动规划器提出了一个并行设计。基于这种将规划建模为多模态问题的并行设计，作者提出了一种分层规划选择策略，该策略结合了碰撞感知重新评分模块，以选择合理且安全的轨迹作为最终规划输出。凭借这种有效的设计，SparseDrive 在所有任务的性能上都实现 SOTA，同时实现了更高的训练和推理效率。

为什么要做？

为了充分利用端到端范式的潜力，作者回顾了现有方法的任务设计，并认为运动预测和规划之间有三个主要相似之处被忽略了：

• 为了预测周围智能体和自车的未来轨迹，运动预测和规划都应考虑道路智能体之间的高阶和双向交互。然而，以前的方法通常采用顺序设计进行运动预测和规划，忽略了自车对周围智能体的影响。

• 准确预测未来轨迹需要语义信息来理解场景，几何信息来预测智能体的未来运动，这适用于运动预测和规划。虽然这些信息是在周围智能体的上游感知任务中提取的，但对于自车却被忽略了。

• 运动预测和规划都是具有内在不确定性的多模态问题，但以前的方法只预测规划的确定性轨迹。为此，我们提出了 SparseDrive，一种以稀疏为中心的范例，

如上图所示，SparseDrive 由对称稀疏感知模块和并行运动规划器组成。利用解耦的实例特征和几何锚点作为一个实例（动态道路智能体或静态地图元素）的完整表示，对称稀疏感知将检测、跟踪和在线地图任务与对称模型架构统一起来，学习完全稀疏的场景表示。在并行运动规划器中，首先从自我实例初始化模块获得语义和几何感知的自我实例。利用来自稀疏感知的自我实例和周围智能体实例，同时进行运动预测和规划，以获得所有道路智能体的多模态轨迹。为了确保规划的合理性和安全性，采用了结合碰撞感知重新评分模块的分层规划选择策略