为什么端到端任务如此受欢迎？但却又如此复杂？

最新推荐文章于 2025-06-08 00:01:59 发布

自动驾驶之心

最新推荐文章于 2025-06-08 00:01:59 发布

阅读量272

点赞数

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247620864&idx=1&sn=e81142469070920c36fe22426c4a6484&chksm=cf69492196ea1890eb9a219c3e021c40fdc2aa69ec2481375fb9c7c222537724baeffdc9dbe9&scene=126&sessionid=0

说起端到端，每个从业者可能都觉得会是下一代自动驾驶量产方案绕不开的点！特斯拉率先吹响了方案更新的号角，无论是完全端到端，还是专注于planner的模型，各家公司基本都投入较大人力去研发，小鹏、蔚来、理想、华为都对外展示了其端到端自动驾驶方案，效果着实不错，非常有研究价值。

为什么需要端到端？

首先我们聊一下当前的主流自动驾驶方案，主要核心部分包括：感知模块、预测模块、规控模块。每个模块相对独立，感知模块给预测模块提供动静态障碍物信息；预测模块为规控模块提供规划的参考，规划再转换为控制指令。从传感器端到控制端，需要多个功能支持，这就不可避免导致了累积误差，一旦碰到问题，需要整个pipeline做分析。而且每个模块的优化，并不能保证整个系统达成最优解。

这个时候，就希望有一种模型能够完成感知信息的无损传递，即从传感器端到输出控制策略端，这也是端到端自动驾驶提出的原因。传统定义上感知和规划模块的对接一般是通过白名单（比如机动车、行人、甚至occ输出的非通用几何障碍物）的检测与预测来完成，是人为定义的规则和抽象。随着产品的迭代，每一次都需要添加各类case，设计各种博弈的策略，从模型训练到工程部署再到逻辑设计，时间和人力成本高昂。

而且这种方式无法罗列所有情况，那么是否可以通过对整个场景的学习抽象，无损的将所有信息传递给PnC部分？这就是我们期望的端到端。端到端核心是优化最终目标且全局可导，作为一个完整的优化任务来看，直接求最优解，而不是先求感知再求规控的最优解。

端到端效果怎么样？

今年各大自动驾驶公司都在预研和落地相关端到端方案，小鹏、蔚来、华为、理想也都对外展示了其端到端方案。由于端到端模型的优势明显，各大自动驾驶公司都在拼命布局揽人，对应岗位薪资水涨船高，某想甚至开出了七位数给到该岗位。

那么各家的端到端自动驾驶效果怎么样呢？先来看看国外的特斯拉：

再来看看国内的UniAD效果：

不得不说，端到端是一个更简约的方法，更具有全场景的优化能力。

端到端有哪些技术栈？

行业里面的端到端主要分为完全端到端方案、专注于planner的端到端方案（包括某鹏的XPlanner）。顾名思义，完全端到端是从传感器直接到规控；而专注于planner的端到端以感知模块的输出作为先验，替换原来以规则作为主要形式的PnC模块。

从传感器到控制策略的（如果把条件再放松下也可以到轨迹输出）完全端到端方案更为简约，但同样面临一个问题，可解释性差。UniAD用分阶段监督的方法逐步提高了可解释性，但训练仍然是个难题。在足够体量和质量的数据群下，效果能够得到保证，泛化性能也不错。

而专注于planner的端到端方案，如果深究的话，只能算狭义上的端到端，但更贴合当下的量产方案和任务，而且可解释性也较高，是目前主机厂和自动驾驶公司优先推行和落地的。

如果从信息输入的角度上来看，又可以分为纯视觉方案（UAD、UniAD这类）和多模态方案（FusionAD这类），传感器成本不断在下降，多模态方案也一直是行业里面都在关注的点。

端到端的难点在哪里？

端到端的优势非常突出，但仍然有很多难点需要攻克。主要在于数据难定义、数据难制作、网络不好训练、模型不好解释优化、评测定义多种多样！很多公司无法像特斯拉一样获取海量数据，这也是个巨大的瓶颈。今年年中，自动驾驶之心收到了很多同学关于端到端实战相关的需求，虽然我们已经筹备过相关的内容，但早期端到端方案不够成熟，更多是以论文切入。工业界使用的方案关注较少，代码层面上也很少提及。

国内首门端到端实战！早鸟立减100

欢迎扫码试听！

自动驾驶之心在调研大家的需求后，联合自动驾驶之心课研团队，出品了国内首个《面向工业级的端到端自动驾驶算法与实战》，主讲老师是一线头部自动驾驶公司端到端算法工程师。大纲如下：

课程部分内容一览

这门课程怎么将会展开？

课程对领域常用的纯视觉完全端到端方案、多模态完全端到端方案、专注于planner的端到端方案会有较深入的剖析。每种方法论会配有一个对应实战，让大家不仅仅明白算法是怎么做的，还要搞懂实现细节。最后将会有课程大作业，带着大家从零一起搭建一套端到端方案。

本门课程面向在校从事自动驾驶研究方向的硕士、博士，以及正在从事端到端算法研究的工作人员、想要转入端到端研究方向的同学，正在准备相关方向岗位的校招、社招同学，需要项目来提升自己的同学；

第一章端到端算法基础

第一章为基础篇，主要为大家带来端到端基础相关内容，这一部分我们会从端到端的提出、端到端的分类、以及端到端数据集相关内容展开，大家比较关注的端到端数据集格式以及后续自己数据集的制作都会有涉及哦。除此之外，端到端输出结果的可视化也会提供给大家脚本。最后会为大家带来端到端模型学术界与工业界是怎么评测！

第二章端到端任务基础模块

第二章主要给大家介绍端到端任务的基础模块，感知模块的输出有哪些？白名单策略是什么？预测模块的输入输出是什么？自车如何规划，规划和感知如何交互？规划结果如何给下游使用等等！

第三章完全端到端方法

第三章主要为大家介绍从传感器数据到控制策略的完全端到端方法，包括纯视觉方案、多模态方案以及时序方案等等。本章最后一部分，将为大家带来完全端到端方案UniAD的实战，从环境配置、Dataloader、核心代码到指标评测和可视化，为大家梳理一套完整的端到端方案。

第四章专注于学习PnC的端到端方法

第四章主要为大家带来专注于学习PnC的端到端方法，这类方法是目前车企投入研发较多的方案，更能衔接原有方案，解释性也相对更强。本章为大家带来了行业里比较经典的几种方法，并在最后部分带大家完成基于palnT算法的实战，从环境配置、Dataloader、核心代码到指标评测和可视化，为大家梳理一套完整的端到端方案。