直播来啦！大一统端到端架构都有哪些黑魔法？上交ICLR'25 DriveTransformer-优快云博客

>>直播和内容获取转到→自动驾驶之心知识星球

当前端到端自动驾驶架构的串行设计导致训练稳定性问题，而且高度依赖于BEV，严重限制了其Scale Up潜力。在我们ICLR2025工作DriveTransformer中，不同于以往算法Scale Up Vision Backbone，我们设计了一套以Decoder为核心的无需BEV的大一统架构。在Scale Up提出的类GPT式并行架构后，我们发现训练稳定性大幅提高，并且增加参数量对于决策的收益优于Scale Up Encoder。在大规模的闭环实验中，通过Scale Up新架构到0.6B，我们实现了SOTA效果。本篇论文三位共一中的游浚琦和张致远在参与本项目时分别为大二、大三的本科生。

端到端自动驾驶（E2E-AD）已成为自动驾驶领域的一种趋势，有望为系统设计提供一种数据驱动且可扩展的方法。然而现有的端到端自动驾驶方法通常采用感知 - 预测 - 规划的顺序范式，这会导致累积误差和训练不稳定性。任务的手动排序也限制了系统利用任务间协同效应的能力（例如，具有规划感知的感知以及基于博弈论的交互式预测和规划）。此外现有方法采用的dense BEV表示在大范围感知和长时序融合方面带来了计算挑战。为应对这些挑战，我们提出了DriveTransformer，这是一种简化的易于扩展的端到端自动驾驶框架，具有三个关键特性：任务并行（所有Agent、地图和规划查询在每个模块中直接相互交互）、稀疏表示（任务查询直接与原始传感器特征交互）和流处理（任务查询作为历史信息存储和传递）。因此，新框架由三个统一操作组成：任务自注意力、传感器交叉注意力和时序交叉注意力，这显著降低了系统的复杂性，并带来了更好的训练稳定性。DriveTransformer在模拟闭环基准测试Bench2Drive和现实世界开环基准测试nuScenes中均实现了最先进的性能，且帧率较高。

论文链接：https://openreview.net/forum?id=M42KR4W9P5

国内首个自动驾驶学习社区

『自动驾驶之心知识星球』近4000人的交流社区，已得到大多数自动驾驶公司的认可！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（端到端自动驾驶、世界模型、仿真闭环、2D/3D检测、语义分割、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎扫描加入

【自动驾驶之心】技术交流群

自动驾驶之心是国内领先的技术交流平台，关注自动驾驶前沿技术与行业、职场成长等。我们成立了一系列的技术交流群，涉及：语义分割、车道线检测、2D/3D目标跟踪、2D/3D目标检测、BEV感知、多模态感知、Occupancy、多传感器融合、transformer、大模型、点云处理、端到端自动驾驶、在线地图、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、Gaussian Splatting、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等多个方向！

备注：学校/公司+方向+昵称（快速入群方式）