那些号称端到端包治百病的人，压根从来没做过PnC......

最新推荐文章于 2025-11-14 18:59:17 发布

转载最新推荐文章于 2025-11-14 18:59:17 发布 · 95 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247679728&idx=1&sn=f58d62b3bc59585825a0e0d73aa16000&chksm=cf2c836000c11a4e9023c11e764e87e68b8ee55f6c64e726418daf4b7ff623f4fc7e0ed80fb6&scene=126&sessionid=0

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近30个方向学习路线

最近和星球的嘉宾探讨了一下端到端的一些观点，分享给大家。

起初是聊到VLA和端到端这一大的主题，目前国内的态势是：几家前沿的新势力都在做VLA的落地和优化，另一派为了争夺话语权聚焦在WA的路线上。但其实更多的车企和Tier1还在攻坚端到端的路上。

我们先聊一下为什么需要端到端，或者说应该期望端到端解决什么问题？

按照端到端最初的定义，输入传感器的原始信息，直接输出系统关心的变量。换句话说端到端的概念可以很广泛。比如，相比使用NMS后处理输出目标框的的检测算法，基于Transformer的检测算法（DETR类）就可以称之为端到端目标检测。

在现在的端到端自动驾驶任务定义中自然想到的一个定义便是，输入各种传感器的数据（Camera/LiDAR/Radar等），直接输出车辆的控制信号（油门/方向盘转角）或者自车轨迹。后续学术界和工业界也衍生出一系列的代表性端到端算法（一段式/两段式/VLA等等），最出名像UniAD、Sparse系列。

我们不妨从本质上思考一下，端到端的本质是什么？这里只抛出个人的观点：感知信息的无损传递。

在以往模块化的方法中，感知的结果（动静态/OCC/红绿灯等等）送给PnC做下游的规划。这些人工定义的感知结果无法抽象地表示所有影响自车行为的因素（感知模型是基于闭集数据训练的，自动驾驶是开集的场景）。所以端到端系统，提供了一种（隐式或显式）的全面表示，能够无损地将这样的信息作用于PnC。这也是业内从模块化方向发展到端到端的一种趋势，至少端到端提供了一种可能的上限。目前工业界普遍基于模仿学习的方法优化端到端模型。

但实际参与过端到端落地的同学都知道，端到端的上限是更高了，但下限嘛...

但大家的共识是，自动驾驶从规则驱动转向了认知驱动（也可以叫知识驱动/数据驱动，whatever）。以我个人的了解，业内所谓的端到端是离不开传统方法兜底的，或者说learning-based输出的轨迹还是要过一道传统PnC。

那些号称端到端包治百病的人，压根从来没做过PnC。一堆鼓吹端到端即将替代传统规控的人，可以歇歇了。个人的看法，业内的端到端离成熟还有很长的距离。车企为了摆脱感知模型无尽case迭代的死循环，想跳出现有范式直接梭哈VLA和WA，这无可厚非。但请给端到端更多的时间去沉淀。

以上。

如果你也想和自动驾驶学术界或工业界的大佬交流，欢迎加入自动驾驶之心知识星球。我们是一个认真做内容的社区，一个培养未来领袖的地方。

『自动驾驶之心知识星球』目前集视频 + 图文 + 学习路线 + 问答 + 求职交流为一体，是一个综合类的自驾社区，已经超过4000人了。我们期望未来2年内做到近万人的规模。给大家打造一个交流+技术分享的聚集地，是许多初学者和进阶的同学经常逛的地方。

社区内部还经常为大家解答各类实用问题：端到端如何入门？自动驾驶多模态大模型如何学习？自动驾驶VLA的学习路线。数据闭环4D标注的工程实践。快速解答，方便大家应用到项目中。

更有料的是：星球内部为大家梳理了近40+技术路线，无论你是咨询行业应用、还是要找最新的VLA benchmark、综述和学习入门路线，都能极大缩短检索时间。星球还为大家邀请了数十位自动驾驶领域嘉宾，都是活跃在一线产业界和工业界的大佬（经常出现的顶会和各类访谈中哦）。欢迎随时提问，他们将会为大家答疑解惑。除了上面的问题，我们还为大家梳理了很多其它的内容：

端到端自动驾驶如何入门？一段式/二段式量产中如何使用？
传统规划控制想转端到端VLA，求学习路线图！
自动驾驶多模态大模型预训练数据集有哪些？求自动驾驶VLA微调数据集？
多传感器融合现在还适合就业吗？
3DGS和闭环仿真如何结合？应用中需要考虑哪些元素？
世界模型是个啥？业内如何应用，研究还有切入点么？
业内哪家公司前景好一些，适合跳槽，都有什么岗位开放招聘？求星主内推~
博士入学，哪个方向容易出成果？
闭环强化学习如何入门？
端到端自动驾驶学习路线推荐。
......

我们会不定期和一线的学术界&工业界大佬畅聊自动驾驶发展趋势，探讨技术走向和量产痛点：

这是一个认真做内容的社区，一个培养未来领袖的地方。星球内部梳理了近40+自动驾驶技术方向，同时也有面向求职的问答梳理。

针对入门学习的同学，我们更是准备了全栈方向的学习课程，非常适合0基础的小白。

我们还和多家自动驾驶公司建立了岗位内推机制，欢迎大家随时艾特我们。第一时间将您的简历送到心仪公司的手上。

针对入门者，我们整理了完备的小白入门技术栈和全栈路线图。

已经从事相关研究的同学，我们也给大家提供了很多有价值的产业体系和项目方案。

欢迎和我们一起打造完整的自驾生态。

国内首个自驾全栈社区：自动驾驶之心知识星球

社区创建的出发点是给大家提供一个自动驾驶相关的技术交流平台，交流学术和工程上的问题。星球内部的成员来自国内外知名高校实验室、自动驾驶相关的头部公司，其中高校和科研机构包括但不限于：上海交大、北京大学、CMU、清华大学、西湖大学、上海人工智能实验室、港科大、港大、南洋理工、新加坡国立、ETH、南京大学、华中科技大学、ETH等等！公司包括但不限于：蔚小理、地平线、华为、大疆、广汽、上汽、博世、轻舟智航、斑马智行、小米汽车、英伟达、Momenta、百度等等。前沿技术聚集地一直是自动驾驶之心的标签！

我们为大家汇总了近40+开源项目、近60+自动驾驶相关数据集、行业主流自驾仿真平台、以及各类技术学习路线，包括但不限于：

自动驾驶感知学习路线	自动驾驶仿真学习路线	自动驾驶规划控制学习路线
端到端学习路线	3DGS算法原理	基于搜索的规划
VLA学习路线	NeRF原理	基于采样的规划
多模态大模型	Carla仿真	基于车辆运动学的规划
占用网络	Apollo仿真	基于数值优化的规划
BEV感知	Autoware仿真	横纵解耦规划框架
扩散模型	联合仿真	横纵联合规划框架
世界模型	自驾仿真产品架构分析	基于几何的路径跟踪
多传感器融合	闭环仿真	模型预测控制
轨迹预测	相关数据集	联合预测
......	......	......