端到端落地中可以参考的七个Project

转载于 2025-12-19 08:04:14 发布 · 2 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247688470&idx=2&sn=2b3b4f6fdbd3b134255947cf887da317&chksm=cffe6127fd4ef9d779c4ceae64ca25c292bc211e8386c39c50776c0009c27661b55c313995a3&scene=126&sessionid=0

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近30个方向学习路线

导航信息、强化学习、扩散模型、自回归、时空联合规划兜底是当下端到端落地中最重要的技术栈。近期和业内一位招聘朋友聊了聊，他们反馈头部玩家已经验证了端到端走的通，其他车企也开始铺人力和资源跟进。但候选人往往只懂一部分，具体的量产经验如导航信息的引入、强化学习调优、轨迹的建模及优化都有很多门道，都是实际的落地痛点。为此我们花了三个月的时间设计了端到端量产进阶课程，七个项目从实战到落地层层展开。

该课程涉及的核心算法包括：一段式端到端、两段式端到端、导航信息的量产应用、开闭环强化学习、扩散模型+强化学习、自回归+强化学习、时空联合规划等等，最后分享一些实际的量产经验。这门课程是自动驾驶之心联合工业界算法专家开设的《面向量产的端到端实战小班课》！课程只有一个重点：聚焦量产。从一段式、两段式、强化学习、导航应用、轨迹优化、兜底方案再到具体量产经验分享。面向就业直击落地，所以这门课程目前不打算大规模招生，仅剩「20名」招生名额......

仅剩「20个」名额，扫码咨询助理！

讲师介绍

王路, C9本科+QS50 PhD，已发表CCF-A和CCF-B论文若干。现任国内TOP tier1算法专家，目前从事大模型、世界模型等前沿算法的预研和量产，所研发算法已成功落地并量产，拥有丰富的端到端算法研发和实战经验。

课程大纲

这门课程讲如何展开

第一章：端到端任务概述

经典的自驾系统分成了感知，地图，规控等多个系统模块。而在端到端时代，感知任务的合并，规控算法的learning化已是绝对的主流。如何更高效的合并感知任务，如何设计规控的learning化模块成为各大公司的核心必备技能。在这个章节中，老师会介绍主流的感知模型一体化架构和经典的规控learning化方案，同时也会对目前端到端的开源数据集和评测方式进行一个详细的介绍。

第二章：两段式端到端算法

本章节主要介绍两段式的端到端算法框架，包括两段式框架建模方式，感知与PNC的信息传递方式。为何使用两段式建模、两段式的优缺点介绍。在本章中，会正式开始讲解哪些感知信息会被下游消费以及如何消费。通过这些知识的讲解大家基本会对目前的两段式方案有一个大概的理解，最后会通过一个经典的PLUTO算法带领大家进行实战，可以让大家有个更全面的认知。

第三章：一段式端到端算法

本章节主要介绍一段式的端到端算法框架，相比于两段式框架来说，一段式的框架可以做到信息的无损传递，因此在性能上也更优于两段式的方案。在本章中大家会学习多种一段式框架的方案，例如基于vla的方法、基于diffusion的方法等。最后会带领大家进行VAD系列的学习，从而更深入的掌握一段式的方法。

第四章：导航信息的量产应用

导航信息在自动驾驶中是一个非常关键的要素信息，主要起到了一个引导、选路、选道的作用。在本章中老师会给大家介绍目前主流的导航地图的格式和包含的内容信息，以及在端到端的模型中，导航地图的编码与嵌入方式，如何更有效的发挥出导航地图的能力。

第五章：自动驾驶中的RL算法介绍

在之前的端到端算法介绍中，主要介绍的是基于模仿学习的方法，即让机器去模仿学习人类的驾驶行为。然而只靠纯模仿学习是不够的，因为一方面人类的驾驶风格迥异，同时有些corner-case场景又很难采集到。因此在模仿学习之后需要再接入一个基于强化学习的方法，目的是让机器能够学习到这种因果关系，从而达到一个可以泛化的目标。在本章中老师会重点介绍强化学习算法以及强化学习的训练策略。

第六章：端到端轨迹输出优化

本章主要是带领大家进行nn planner部分的项目实战，主要包括了基于模仿学习的算法实战，重点会介绍基于扩散模型的算法和基于自回归的算法。在SFT之后会继续讲解基于强化学习的算法实战。通过本章的学习大家会对模仿学习和强化学习的结合使用有一个非常深入的掌握和理解。

第七章：兜底方案 - 时空联合规划

真正量产落地阶段，除了模型部分还会有后处理的兜底逻辑。由于无法保证模型直出会有100%的准确率，因此会通过一些轨迹的平滑优化算法来使得最终输出的轨迹更加的稳定和可靠，本章会介绍目前一些常用的轨迹平滑算法，既有多模态轨迹打分搜索的算法，也有轨迹平滑的算法。学完本章会对整个端到端方案的上下游有一个清晰的理解。