要么拥抱『端到端』，要么几年后离开智驾行业-优快云博客

“要么拥抱端到端，要么几年后离开智驾行业。”

特斯拉率先吹响了方案更新的号角，无论是完全端到端，还是专注于planner的模型，各家公司基本都投入较大人力去研发，小鹏、蔚来、理想、华为都对外展示了其端到端自动驾驶方案，效果着实不错，非常有研究价值。

端到端效果怎么样？

今年各大自动驾驶公司都在预研和落地相关端到端方案，小鹏、蔚来、华为、理想也都对外展示了其端到端方案。由于端到端模型的优势明显，各大自动驾驶公司都在拼命布局揽人，对应岗位薪资水涨船高，某想甚至开出了七位数给到该岗位。

那么各家的端到端自动驾驶效果怎么样呢？先来看看国外的特斯拉：

再来看看国内的UniAD效果：

不得不说，端到端是一个更简约的方法，更具有全场景的优化能力。

端到端有哪些技术栈？

行业里面的端到端主要分为完全端到端方案、专注于planner的端到端方案（包括某鹏的XPlanner）。顾名思义，完全端到端是从传感器直接到规控；而专注于planner的端到端以感知模块的输出作为先验，替换原来以规则作为主要形式的PnC模块。

从传感器到控制策略的（如果把条件再放松下也可以到轨迹输出）完全端到端方案更为简约，但同样面临一个问题，可解释性差。UniAD用分阶段监督的方法逐步提高了可解释性，但训练仍然是个难题。在足够体量和质量的数据群下，效果能够得到保证，泛化性能也不错。

而专注于planner的端到端方案，如果深究的话，只能算狭义上的端到端，但更贴合当下的量产方案和任务，而且可解释性也较高，是目前主机厂和自动驾驶公司优先推行和落地的。

如果从信息输入的角度上来看，又可以分为纯视觉方案（UAD、UniAD这类）和多模态方案（FusionAD这类），传感器成本不断在下降，多模态方案也一直是行业里面都在关注的点。

端到端的难点在哪里？

端到端的优势非常突出，但仍然有很多难点需要攻克。主要在于数据难定义、数据难制作、网络不好训练、模型不好解释优化、评测定义多种多样！很多公司无法像特斯拉一样获取海量数据，这也是个巨大的瓶颈。今年年中，自动驾驶之心收到了很多同学关于端到端实战相关的需求，虽然我们已经筹备过相关的内容，但早期端到端方案不够成熟，更多是以论文切入。工业界使用的方案关注较少，代码层面上也很少提及。

主打量产！国内首门端到端实战立减100

欢迎扫码试听！

自动驾驶之心在调研大家的需求后，联合自动驾驶之心课研团队，出品了国内首个《面向工业级的端到端自动驾驶算法与实战》，主讲老师是一线头部自动驾驶公司端到端算法工程师。大纲如下：

课程部分内容一览

这门课程怎么将会展开？

课程对领域常用的纯视觉完全端到端方案、多模态完全端到端方案、专注于planner的端到端方案会有较深入的剖析。每种方法论会配有一个对应实战，让大家不仅仅明白算法是怎么做的，还要搞懂实现细节。最后将会有课程大作业，带着大家从零一起搭建一套端到端方案。

本门课程面向在校从事自动驾驶研究方向的硕士、博士，以及正在从事端到端算法研究的工作人员、想要转入端到端研究方向的同学，正在准备相关方向岗位的校招、社招同学，需要项目来提升自己的同学；

第一章端到端算法基础

第一章为基础篇，主要为大家带来端到端基础相关内容，这一部分我们会从端到端的提出、端到端的分类、以及端到端数据集相关内容展开，大家比较关注的端到端数据集格式以及后续自己数据集的制作都会有涉及哦。除此之外，端到端输出结果的可视化也会提供给大家脚本。最后会为大家带来端到端模型学术界与工业界是怎么评测！

第二章端到端任务基础模块

第二章主要给大家介绍端到端任务的基础模块，感知模块的输出有哪些？白名单策略是什么？预测模块的输入输出是什么？自车如何规划，规划和感知如何交互？规划结果如何给下游使用等等！

第三章完全端到端方法

第三章主要为大家介绍从传感器数据到控制策略的完全端到端方法，包括纯视觉方案、多模态方案以及时序方案等等。本章最后一部分，将为大家带来完全端到端方案UniAD的实战，从环境配置、Dataloader、核心代码到指标评测和可视化，为大家梳理一套完整的端到端方案。

第四章专注于学习PnC的端到端方法

第四章主要为大家带来专注于学习PnC的端到端方法，这类方法是目前车企投入研发较多的方案，更能衔接原有方案，解释性也相对更强。本章为大家带来了行业里比较经典的几种方法，并在最后部分带大家完成基于palnT算法的实战，从环境配置、Dataloader、核心代码到指标评测和可视化，为大家梳理一套完整的端到端方案。