nuScenes SOTA！复旦BridgeAD：历史预测与规划无缝融合助力端到端登顶（CVPR‘25）

最新推荐文章于 2025-06-18 07:30:44 发布

原创

最新推荐文章于 2025-06-18 07:30:44 发布 · 830 阅读

22 ·

CC 4.0 BY-SA版权

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享复旦大学&东方理工学院最新的工作！首创新一代自动驾驶技术，历史预测与规划无缝融合，安全性能跃升—BridgeAD！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『端到端自动驾驶』技术交流群

论文作者 | Bozhou Zhang等

编辑 | 自动驾驶之心

写在前面 & 笔者的个人理解

端到端自动驾驶通过可微框架统一多任务，支持以规划为导向的优化，近年来受到广泛关注。现有方法主要通过密集的历史鸟瞰图（BEV）特征或稀疏的记忆库查询来聚合历史信息，沿用了检测任务的传统范式。然而，我们认为这些范式要么忽略了运动规划中的历史信息，要么未能与其多步骤特性（需预测或规划多个未来时间步）有效对齐。基于“未来是过去的延续”这一理念，我们提出BridgeAD方法，将运动与规划查询重构为多步骤查询，以区分每个未来时间步的查询目标。这一设计使得历史预测与规划信息能够根据时间步针对性地应用于端到端系统的不同模块，从而提升感知与运动规划的协同性。

具体而言，当前帧的历史查询与感知模块结合，未来帧的查询则与运动规划模块集成。通过这种方式，我们在每个时间步聚合历史信息，弥合了过去与未来的鸿沟，增强了端到端自动驾驶管线的整体连贯性与准确性。在nuScenes数据集上的大量实验（包括开环和闭环设置）表明，BridgeAD取得了最先进的性能。

论文简介

自动驾驶技术近年来发展迅速。传统系统采用模块化方法，将任务划分为感知、预测和规划，虽简化了各任务，但可能中断信息流并导致误差累积。端到端方法统一这些任务，支持以规划为导向的优化，提升了系统一致性，因而受到越来越多的关注。

现有端到端方法主要沿用检测任务的范式，利用时序信息增强性能。这些范式大致分为两类：密集方法聚合历史鸟瞰图（BEV）特征，稀疏方法通过稀疏记忆库查询交互。然而，我们认为这些范式存在不足。如图1(a)所示，前者仅在感知模块中利用时序信息，忽略了其在运动规划中的重要性；后者与历史运动规划查询的交互较为粗糙，每个查询对应一个轨迹实例，未与运动规划的多步骤特性（需预测或规划多个未来时间步以适应动态代理状态）对齐，导致次优结果。

本文提出BridgeAD框架（图1(b)），通过历史预测与规划增强端到端自动驾驶。基于“未来是过去的延续”这一理念，我们首先将运动与规划查询分解为多步骤查询，区分每个未来时间步的目标。随后，当前帧的运动查询（源自历史预测）与感知模块结合以提升感知精度，未来帧的运动与规划查询（源自历史预测与规划）则与运动规划模块集成，通过步骤级交互优化预测与规划结果。此外，运动与规划查询在对应时间步的交互确保了周围代理预测与自车规划的一致性。通过这种方式，BridgeAD在每个时间步聚合历史信息，弥合了过去与未来的鸿沟，增强了端到端自动驾驶管线的整体连贯性与准确性。

主要贡献如下：

多步骤查询表示：将运动与规划查询分解为多步骤形式，针对每个未来时间步利用历史信息。
历史信息融合框架：提出BridgeAD，通过历史预测与规划增强端到端自动驾驶管线。
实验验证：在nuScenes数据集的开环与闭环测试中均达到最优性能。

方法详解

概述

BridgeAD框架如图2所示，包含三个主要组件：图像编码器、历史增强感知模块和历史增强运动规划模块。首先，图像编码器从多视角图像中提取多尺度空间特征。随后，历史增强感知模块通过稀疏方法执行3D目标检测、跟踪和在线矢量化地图构建，并通过历史Mot2Det融合模块整合历史信息。最后，历史增强运动规划模块由历史增强运动预测模块、历史增强规划模块和步骤级Mot2Plan交互模块组成，利用历史数据生成运动预测和规划输出。此外，内存队列缓存历史运动和规划查询，为上述模块提供历史信息支持。