点击下方卡片，关注“自动驾驶之心”公众号
戳我-> 领取自动驾驶近15个方向学习路线
按照最传统的定义，端到端的系统指的是一套系统，输入传感器的原始信息，直接输出任务关心的变量。在自动驾驶任务中，自然想到的一个定义便是，输入各种传感器的数据（相机/LiDAR/Radar/IMU…），直接输出车辆的控制信号（油门/方向盘转角）。为了考虑不同车型之间的适配问题，也可以将输出放宽为车辆的行驶轨迹。这便是一个传统意义上，或者我叫做狭义端到端的定义。在这样的一个基础上，也衍生出了例如UniAD这样模块化端到端的概念，即在最终输出控制信号或者路点之外，也引入了一些相关的中间任务的监督来提升性能。
然而，除了这样狭义的定义之外，我们还应该从本质上思考一下，端到端的本质是什么？知乎大佬—Naiyan Wang认为端到端的本质应当是感知信息的无损传递。我们先回想一下在非端到端系统中，感知和PnC模块的接口是什么样子的。一般我们会有针对白名单物体（车，人，etc）的检测/属性分析/预测，会有对静态环境的理解（道路结构/限速/红绿灯，etc），如果做的更细致一些的话，还会做通用障碍物的一些检测工作。从宏观的角度来讲，感知输出的这些信息，都是对复杂驾驶场景的一种抽象，而且是人工定义的显式抽象。然而，对于一些非常见场景中，现在的显式抽象难以充分表达场景中会影响驾驶行为的因素，亦或是我们需要定义的任务过多过琐碎，也难以枚举尽所有需要的任务。所以端到端系统，提供了一种（也许是隐式）全面表示，希望能够自动地无损地将这样的信息作用于PnC。我认为，所有能满足这样的系统，都可以叫做广义端到端。
可以说自动驾驶迎来了革命性的一刻：一次真正踏上高阶L4自动驾驶的契机—端到端自动驾驶！像特斯拉的FSD v12直接把代码量从30多万行干到2000行。这就是端到端自动驾驶的魅力！
端到端自动驾驶待遇如何？
自动驾驶之心从某招聘网站上获得的最新岗位信息（自动驾驶大模型算法）截图，可以很清楚地知道企业对端到端/大模型岗位的要求，年薪更是高达百万！可以说端到端自动驾驶正是当下行业的最前沿，也是未来落地的最前沿！
端到端自动驾驶的难点在哪里?
当下端到端自动驾驶的发展路径还没有完全统一，就自动驾驶之心得到的消息而言，UniAD类方法已经有公司尝试在落地量产。这类算法对数据有着更高的要求，感知预测规控的一体化标注如何做？模型在真实数据中如何有效训练？复杂路况的真实表现能否媲美模块法方法？这是挑战，更是机遇
而基于大语言模型的端到端方法，则更是挑战中的挑战！理想最新的DriveVLM更是直接部署上车，一切的一切都在瞄向落地！
反观所有的端到端方法，对我们的要求不再仅仅是专精某一领域。感知是什么？预测是什么？规控是什么？大语言模型是什么？所以说端到端真正的难点在哪里？是全栈~
前沿的论文的讲解，端到端一把搞定
自动驾驶之心在深入调研业内和学术界的相关信息后，针对下一代自动驾驶量产算法，开发了《端到端自动驾驶论文带读》课程。本课程将从CVPR'23 Best Paper—UniAD开始，逐步讲解近两年优秀的相关工作。
扫码学习！开课最大优惠，即将恢复原价~
针对端到端的两大类方法，探讨各自方法的优缺点，从科研和量产的角度给出独有的见解。精选论文如下：
讲师介绍
Jason：自动驾驶行业top公司资深算法工程师，中科院博士，在计算机视觉领域有丰富的科研和业务经验，在CVPR，ICCV，ECCV等会议或期刊上发表多篇论文，学术引用量2000+。
适合人群
计算机视觉与自动驾驶感知相关研究方向的本科/硕士/博士；
自动驾驶感知、规划、端到端等方向算法工程人员；
对端到端自动驾驶有着高度认可的童鞋，想要了解端到端自动驾驶的中高层管理人员；
想要了解自动驾驶前沿和转行入自动驾驶领域的人员；
本课程需要具备的基础
计算机视觉或机器人相关背景；
了解transformer的基本原理；
对自动驾驶的某项任务，如3D检测/BEV感知/LLM有基本认识；
学后收获
深刻理解端到端自动驾驶的研究现状，洞察未来发展趋势；
对transformer和端到端技术及其在自动驾驶领域的应用更加熟悉；
更好地将transformer和端到端的思想应用在自己的业务或科研项目中；
提升对学术文献的阅读能力，提升科研思考能力；
潜在的实习/工作机会，潜在的科研辅导机会；
开课时间
2024年4月22号正式开课，加入我们一起学习，开课后2至3个月结课，离线教学，微信群内答疑（交流环境非常好，非常重要的部分）！
课程咨询
扫码学习！开课最大优惠，即将恢复原价~
更多内容欢迎咨询小助理
版权声明
自动驾驶之心所有课程最终版权均归自动驾驶之心团队及旗下公司所属，我们强烈谴责非法盗录行为，对违法行为将第一时间寄出律师函。也欢迎同学们监督举报，对热心监督举报的同学，我们将予以重报！
投诉微信：AIDriver004(备注：盗版举报)
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
