点击下方卡片,关注“自动驾驶之心”公众号
端到端作为这两年的量产关键词,是各家车企核心的招聘岗位。但市面上真正的量产人才少之又少,从模型优化、场景优化、数据优化,再到下游的规划兜底,端到端其实是一个全栈的岗位。从技术的成熟度和工业界的需求来看,端到端需要攻克的难题还有很多。导航信息的引入、强化学习调优、轨迹的建模及优化都有很多门道,目前也是量产第一线。为此我们花了三个月的时间设计了端到端量产进阶课程,从实战到落地层层展开。

该课程涉及的核心算法包括:一段式端到端、两段式端到端、导航信息的量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等等,最后分享一些实际的量产经验。很多想进阶或者跳槽的同学苦于没有专家辅导,想转行但实际工作中无法接触到实际的量产优化,简历上往往不够亮眼,遇到问题连个请教的人都没有。
这门课程是自动驾驶之心联合工业界算法专家开设的《面向量产的端到端实战小班课》!课程只有一个重点:聚焦量产。从一段式、两段式、强化学习、导航应用、轨迹优化、兜底方案再到具体量产经验分享。面向就业直击落地,所以这门课程目前不打算大规模招生,仅剩「35名」招生名额......

讲师介绍
王路, C9本科+QS50 PhD,已发表CCF-A和CCF-B论文若干。现任国内TOP tier1算法专家,目前从事大模型、世界模型等前沿算法的预研和量产,所研发算法已成功落地并量产,拥有丰富的端到端算法研发和实战经验。
课程大纲

这门课程讲如何展开
第一章:端到端任务概述
经典的自驾系统分成了感知,地图,规控等多个系统模块。而在端到端时代,感知任务的合并,规控算法的learning化已是绝对的主流。如何更高效的合并感知任务,如何设计规控的learning化模块成为各大公司的核心必备技能。在这个章节中,老师会介绍主流的感知模型一体化架构和经典的规控learning化方案,同时也会对目前端到端的开源数据集和评测方式进行一个详细的介绍。
第二章:两段式端到端算法
本章节主要介绍两段式的端到端算法框架,包括两段式框架建模方式,感知与PNC的信息传递方式。为何使用两段式建模、两段式的优缺点介绍。在本章中,会正式开始讲解哪些感知信息会被下游消费以及如何消费。通过这些知识的讲解大家基本会对目前的两段式方案有一个大概的理解,最后会通过一个经典的PLUTO算法带领大家进行实战,可以让大家有个更全面的认知。
第三章:一段式端到端算法
本章节主要介绍一段式的端到端算法框架,相比于两段式框架来说,一段式的框架可以做到信息的无损传递,因此在性能上也更优于两段式的方案。在本章中大家会学习多种一段式框架的方案,例如基于vla的方法、基于diffusion的方法等。最后会带领大家进行VAD系列的学习,从而更深入的掌握一段式的方法。
第四章:导航信息的量产应用
导航信息在自动驾驶中是一个非常关键的要素信息,主要起到了一个引导、选路、选道的作用。在本章中老师会给大家介绍目前主流的导航地图的格式和包含的内容信息,以及在端到端的模型中,导航地图的编码与嵌入方式,如何更有效的发挥出导航地图的能力。
第五章:自动驾驶中的RL算法介绍
在之前的端到端算法介绍中,主要介绍的是基于模仿学习的方法,即让机器去模仿学习人类的驾驶行为。然而只靠纯模仿学习是不够的,因为一方面人类的驾驶风格迥异,同时有些corner-case场景又很难采集到。因此在模仿学习之后需要再接入一个基于强化学习的方法,目的是让机器能够学习到这种因果关系,从而达到一个可以泛化的目标。在本章中老师会重点介绍强化学习算法以及强化学习的训练策略。
第六章:端到端轨迹输出优化
本章主要是带领大家进行nn planner部分的项目实战,主要包括了基于模仿学习的算法实战,重点会介绍基于扩散模型的算法和基于自回归的算法。在SFT之后会继续讲解基于强化学习的算法实战。通过本章的学习大家会对模仿学习和强化学习的结合使用有一个非常深入的掌握和理解。
第七章:兜底方案 - 时空联合规划
真正量产落地阶段,除了模型部分还会有后处理的兜底逻辑。由于无法保证模型直出会有100%的准确率,因此会通过一些轨迹的平滑优化算法来使得最终输出的轨迹更加的稳定和可靠,本章会介绍目前一些常用的轨迹平滑算法,既有多模态轨迹打分搜索的算法,也有轨迹平滑的算法。学完本章会对整个端到端方案的上下游有一个清晰的理解。
第八章:端到端量产经验分享
最后的一章重点会对量产的一些经验进行分享,会从数据、模型、场景、规则等多个视角来剖析如何使用合适的工具和手段解决相应的问题,当面临一个实际的可落地的系统时,如何更合理的选用不同的策略和方法,从而能够快速提升一个系统的能力边界。
面向人群
本课程面向进阶学员,最好具备以下基础:(基础薄弱也能参加,老师会将学习内容纳入指导范围,力求最快速度上手,但不对以下内容做详细指导):
需要自备GPU,推荐算力在4090及以上;
熟悉自动驾驶BEV感知、视觉Transformer、端到端等常见算法;
掌握强化学习、扩散模型的理论基础;
具备一定的python和pytorch语言基础;
熟悉mmdet3d算法框架;
一定的高等数学、线性代数和矩阵论基础;
课程进度安排
课程开课时间:11.30号,预计三个月结课。离线视频教学,vip群内答疑+三次线上答疑;
开始解锁时间 | 对应章节 |
|---|---|
11.30 | 第一章 |
12.7 | 第二章 |
12.14 | 第三章 |
12.21 | 第四章 |
12.30 | 第五章 |
1.15 | 第五章 |
2.10 | 第五章 |
2.24 | 第五章 |
课程咨询
1098

被折叠的 条评论
为什么被折叠?



