CVPR2024 | 我们是否走在开环端到端自动驾驶正确的道路上

最新推荐文章于 2025-12-03 15:13:50 发布

转载最新推荐文章于 2025-12-03 15:13:50 发布 · 220 阅读

CC 4.0 BY-SA版权

原文链接：https://mp.weixin.qq.com/s?__biz=Mzg2NzUxNTU1OA==&mid=2247591891&idx=1&sn=404a69bbcc9fabcabcb1f200ca87d110&chksm=cf44d83681527427d8395f3601c4a8d884539153af215df620f2ba7b337339da5a25d7734231&scene=126&sessionid=0

文章标签：

#自动驾驶 #人工智能 #机器学习

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

今天自动驾驶之心邀请来了南京大学博士&英伟达奖学金获得者李志琦！和大家聊聊开环端到端自动驾驶的诸多问题！

如果您有兴趣分享相关学术成果，请联系AIDriver002！

更多行业咨询与技术分享，欢迎加入『自动驾驶之心知识星球』，相关将在星球内公布！

哔哩哔哩关注自动驾驶之心，预约直播

自动驾驶之心B站

【自动驾驶之心】平台矩阵，欢迎联系我们！

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

自动驾驶之心

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

开环端到端自动驾驶：从入门到放弃

CV_Autobot的博客

12-02

1474

作者|木子士心王大可编辑|汽车人原文链接：https://zhuanlan.zhihu.com/p/669454065点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【端到端自动驾驶】技术交流群本文只做学术分享，如有侵权，联系删文TLDR: 别在nuScenes上做开环端到端自动驾驶刷点了。前言UniAD[1]获得CVPR Best Paper ...

我们是否走在正确的端到端自动驾驶之路？

CV_Autobot的博客

04-20

605

点击下方卡片，关注“自动驾驶之心”公众号戳我->领取自动驾驶近15个方向学习路线按照最传统的定义，端到端的系统指的是一套系统，输入传感器的原始信息，直接输出任务关心的变量。在自动驾驶任务中，自然想到的一个定义便是，输入各种传感器的数据（相机/LiDAR/Radar/IMU…），直接输出车辆的控制信号（油门/方向盘转角）。为了考虑不同车型之间的适配问题，也可以将输出放宽为车辆的行驶轨迹。这便...

参与评论您还未登录，请先登录后发表或查看评论

开环端到端自动驾驶：到底行不行

liuphahaha的专栏

03-16

1801

UniAD[1]获得CVPR Best Paper Award后毫无疑问给自动驾驶领域带来了又一个热点： 端到端自动驾驶。同时马老师也在极力的宣传自己的端到端FSD。不过本篇文章只把讨论限定在一个很小的学术方向，基于nuScenes的开环端到端自动驾驶，会给出一些细节的东西，不讨论其它假大空的东西。（叠个甲，本文章仅是学术讨论，不包含任何对于文章中引用的paper，相关作者的任何负面态度）基于nuScenes的开环端到端自动驾驶，所面临的问题太多了，心累了。

自动驾驶圆桌论坛 | 聊聊自动驾驶上半年都发生了啥？

CV_Autobot的博客

07-15

211

但是拉更长的战线，我们是能看到模仿学习的上限的，研究自驾的强化学习的前路（当然也可能不是强化学习，而是其他新的，我们还不知道的，xx学习的范式），或许比研究模型结构改来改去更有意义。如果在自动驾驶公司工作过，就知道之前（包括现在），迭代的方案都是增加issue case删除issue case的循环，而这种方案显然是无穷无尽的，而且我也非常相信哪怕这个方案迭代的再成熟，也难以达到我们理想中那种自驾的水准。那相对低端一些的芯片，比如地平线的J6M，就只能采取纯视觉的LLM，支持高速NOA。

自动驾驶端到端规划方案调研（工业界+学术界）

CV_Autobot的博客

10-18

1801

作者|张云聪编辑| 自动驾驶Daily原文链接：https://zhuanlan.zhihu.com/p/660077561点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【端到端模型】技术交流群本文只做学术分享，如有侵权，联系删文本文以端到端规划为出发点，调研了一些近两年的业界新方案，其中也包含了一些连带感知和规划一起端到端自动驾驶的方案。一、T...

快速入门：自动驾驶感知工程师的规划与决策核心技巧

2401_85233349的博客

07-10

3601

规划。

自动驾驶合集7

weixin_40409559的博客

08-01

325

#自动泊车自动泊车系统是指在没有人工干预的情况下，车辆本身可以自主的实现停车位的寻找并完成准确的泊车，同时该系统也可以根据用户的需求准确移动到用户指定的位置上。如果自动泊车技术成熟后，可以极大缓解人们在泊车过程中的诸多不便，比如：长时间搜寻停车位置浪费时间、在寻找停车位的过程中易出现事故（车辆碰撞、摩擦）等问题。所以目前很...

做自动驾驶VLA的这一年

CV_Autobot的博客

11-19

619

不过，这个领域现在有个很大的瓶颈，就是缺少大规模、高质量、同时包含视觉画面、详细语言描述和精确行动轨迹的数据集，这直接限制了更可靠、更可解释的端到端自动驾驶模型的研发。具体来说，是通过离线模拟，在同一个视觉场景下生成多种可能的指令-行动组合（比如加速、变道，甚至是“驶向某物体”），这样模型就不能只依赖视觉线索，而必须认真理解语言指令才能做出反应。更重要的是，它在保持顶尖驾驶水平的同时，在视觉问答和评论生成这些语言任务上也表现非常出色，充分证明了它的多任务能力是真实有效的。描述“右转”时，就预测右转轨迹。

51c自动驾驶~合集57

whaosoft~aiotの开发板商城

06-03

1399

多目标多头蒸馏模块：我们看到轨迹模仿学习之后的轨迹还过了其他的MLP，这就是其他头，它的目标也是不一样的，第一个是跟碰撞相关的，第二个是跟行驶区域相关的，第三个是跟舒适度相关的，也就是说不同的评判指标都有一个teacher，之前的模仿学习就是人类的teacher，那么这些teacher是怎么来的呢？本文作者提出的新的范式，就是规划模块是多模的输出，同时，目标也是多样性的，即不仅是GT的轨迹也同时引入了更多的正样本，由不同的专家给出的。还是那句话，小米汽车的成功，是小米价值观，小米模式，和小米方法论的成功。

51c自动驾驶~合集56

whaosoft~aiotの开发板商城

05-28

2521

视觉-语言-动作模型（Vision-Language-Action, VLA）,通过整合。

51c自动驾驶~合集32

whaosoft~aiotの开发板商城

11-24

1589

与现有先进的基于3DGS的方法相比，本文的方法实现了25%的速度提升、30%的内存消耗减少，并在质量上取得了更好的表现，为3D网格重建树立了新的基准。之前的研究表明，在多任务学习框架中结合语义分割（SS）和场景语义补全（SSC）可以提升两项任务的性能，其中 SS 提供详细的语义特征，补充 SSC 捕获的几何理解，使得两个模块都能从共享的特征提取中受益。所以，越来越多的研究人员愿意转向高保真的模拟器，如：CARLA等，来生成一些数据，虽然这些合成的数据与真实世界的数据还是存在一些domain gap。

Co-MTP：面向自动驾驶的多时间融合协同轨迹预测框架

m0_65010824的博客

12-02

1038

本文是对论文《Co-MTP: A Cooperative Trajectory Prediction Framework with Multi-Temporal Fusion for Autonomous Driving》的深度解读。在自动驾驶领域，V2X技术虽能突破单车感知局限，但现有研究难充分利用帧间时间线索支撑轨迹预测。同济大学团队提出Co-MTP框架，创新实现历史与未来双时间域融合，以异构图Transformer处理不完整历史轨迹、扩展至未来域捕捉交互，在V2X-Seq数据集获最优性能。

《自动驾驶与大模型融合新趋势：端到端感知-决策一体化架构分析》

nmdbbzcl的博客

12-01

699

从规则工程到大模型，从模块堆叠到端到端一体化。过去依赖工程师“穷举规则”的时代，已经无法支撑未来复杂城市交通与全球化扩张的需求；而以大模型为核心、端到端感知-决策一体化的架构，则在可扩展性、泛化能力和迭代效率上展现出巨大的潜力。特斯拉 FSD V12/13 用大规模端到端模型在量产车上完成了“从 perception-heavy 到 behavior-heavy”的范式转变；UniAD、DriveGPT4 等研究工作证明了，在学术基准数据集和模拟环境中，端到端一体化可以显著提升整体闭环表现；

FSD入华“加速”中国自动驾驶产业的推动与重构

最新发布

lmj1689120的博客

12-03

514

FSD入华将促进中国自动驾驶产业从"跟跑"到"并跑"甚至"领跑"的转变，为中国智能网联汽车产业的高质量发展注入新的活力

目标检测数据集 - 自动驾驶场景驾驶员注意力不集中检测数据集下载

极智视界

12-01

418

目标检测数据集 - 自动驾驶场景驾驶员注意力不集中检测数据集下载「包含VOC、COCO、YOLO三种格式」

挥手示意车辆先行，自动驾驶为何常 “不知所措”？ Alpamayo-R1给出新解法

finehoo_andy的博客

12-02

829

2025 年 NeurIPS 人工智能大会（加利福尼亚州圣地亚哥举办）上，英伟达发布的，被业内称为 “自动驾驶领域首个视觉语言动作模型”。这款开源工具的核心目标，正是解决自动驾驶长期面临的 “常识判断” 难题 —— 而这一切技术落地，都离不开 GPU 服务器的算力支撑。

自动驾驶场景驾驶员注意力安全行为睡驾分心驾驶疲劳驾驶检测数据集VOC+YOLO格式5370张6类别

FL1623863129的博客

12-02

212

标注类别名称(注意yolo格式类别顺序不和这个对应，而以labels文件夹classes.txt为准):["DangerousDriving","Distracted","Drinking","SafeDriving","SleepyDriving","Yawn"]数据集格式：Pascal VOC格式+YOLO格式(不包含分割路径的txt文件，仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件)标注数量(xml文件个数)：5370。标注数量(txt文件个数)：5370。

Don’t Shake the Wheel: 端到端自动驾驶中的动量感知规划（MomAD）

m0_65010824的博客

12-02

1068

本文是对论文《Don’t Shake the Wheel: Momentum-Aware Planning in End-to-End Autonomous Driving》的深度解读。在端到端自动驾驶领域，多模态规划易受单帧感知局限，存在时间不一致、遮挡敏感等问题。论文团队提出 MomAD 框架，引入轨迹与感知动量，通过 TTM 模块（豪斯多夫距离选轨迹）、MPI 模块（融合历史查询）及鲁棒去噪，结合 Turning-nuScenes 数据集与 TPC 指标，显著提升规划稳定性，降低碰撞率。

自动驾驶之眼：动态目标理解的关键突破

alex1013999的博客

12-02

977

自动驾驶系统中的动态目标理解是保障行车安全的核心技术，涉及目标检测识别、跟踪、状态估计和行为预测等多个环节。当前主流方法采用多传感器融合（摄像头、激光雷达、毫米波雷达）结合深度学习算法，但仍面临长尾场景、复杂交互、遮挡和预测不确定性等挑战。未来发展趋势包括深化多模态融合、发展交互式预测模型、利用高清地图信息以及探索端到端学习等方向。解决这些技术难题将推动自动驾驶在复杂道路环境中的安全应用。

cvpr2024 自动驾驶

03-16

### CVPR 2024 自动驾驶领域研究成果概述 CVPR 2024作为计算机视觉领域的顶级会议，在自动驾驶方向上贡献了许多前沿的研究成果。以下是几项值得关注的工作及其技术亮点： #### 基于混合架构的导航方案一项重要的研究提出了针对CARLA自动驾驶挑战赛的混合自主驾驶导航架构[^1]。这种架构融合了传统模块化设计与现代深度学习方法的优势，能够在复杂的模拟环境中实现高效的路径规划和障碍物避让功能。 #### 大规模模型驱动的端到端解决方案另一篇备受瞩目的论文介绍了LMDrive框架——一种利用大规模语言模型完成闭环端到端驾驶的方法[^3]。相比以往分离式的感知、决策与执行流程,LMDrive成功地将这三个阶段统一起来,借助预训练的大规模参数量级网络来解析输入传感器数据并直接输出车辆操控指令。这种方法不仅简化了整体系统结构,还增强了对于突发状况下的快速响应能力以及跨多种工况下的一致表现水平。此外还有其他多篇围绕不同主题展开探讨的文章被收录进本届大会当中[^2],它们共同推动着这一新兴交叉学科向前发展. ```python # 示例代码展示如何加载预训练LLM用于处理图像序列的任务 from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("path/to/large_model") model = AutoModelForCausalLM.from_pretrained("path/to/large_model") def process_image_sequence(images): tokenized_input = tokenizer([str(img) for img in images], return_tensors="pt", padding=True) outputs = model.generate(**tokenized_input) steering_angle = decode_output(outputs) # 解码逻辑需另行定义 return steering_angle ``` 以上仅是对部分精选内容做了简单概括说明；实际上每篇文章背后都蕴含着研究人员长时间努力探索所得来的宝贵经验教训和技术突破点。