毕竟,没有数据闭环的端到端/VLA只是半成品

数据闭环决定VLA成败

自动驾驶之心对话星球嘉宾某国际Tier1高级算法专家,一起探讨了下国内自动驾驶技术未来的发展趋势:

首先抛出我的观点,下一代自动驾驶技术的一定是围绕着更安全的驾驶,更好的乘坐体验,更全面的场景覆盖。

为了实现这一目标无论是主机厂还是供应商需要建立一个更加系统,更加健全的自动驾驶运营模式,软件算法和数据运营会是其中两大核心能力(类似推荐算法是抖音的核心,但是其背后是其强大的数据运营能力)。

未来的自动驾驶公司可能更像“数据驱动的科技公司”。

类似抖音的推荐算法,自动驾驶的竞争将从算法转向数据闭环的效率。谁能更快收集、清洗、标注、训练、验证,谁就占据优势。这需要强大的自动化工具链和AI驱动的数据流水线。那么我们不妨畅想这样一个架构,VLA/VLM作为最终影响终端用户应用体验的车端/车云端的应用,为了打造这样一个高体验感的产品,围绕VLA/VLM, 利用世界模型构建一个健壮高效低成本闭环仿真支持闭环验证,或者进一步利用强化学习对VLM/VLA进行闭环训练,持续提高自动驾驶数据运营和应用迭代效率,会是接下来自动驾驶公司新一轮技术迭代的关键。

具体而言,对于VLA,如果面向量产,VLA其实在一些复杂场景中表现出来了非常强大的应用潜力,但是反而对于一些简单场景,以及安全相关的场景纯粹的数据驱动的模型在简单场景下可能出现“过度自信”或“常识性错误”。

而目前存世的自动驾驶相关技术公司,其实在简单场景和安全场景都有了一定的积累和能力,如果直接抛弃这部分积累全量使用VLA个人认为并不是一个成熟选择。

除此之外我们在考虑算法本身的时候也需要考虑其背后庞大的为算法进行配套服务的数据服务以及自动化标注底座,短期内抛弃这些积累多年的量产工具,是否值得也是另外一个问题(尤其是对于有盈利压力的公司而言)。

基于这个背景业内也有一些工作,像DiffVLA,期望在这个两阶段E2E+rule base兜底全面走向VLA时代的青黄不接期提出一个比较朴素的现实方案以帮助VLA方案进行滚动迭代。从具体方案层面考虑,VLA近期的论文还是以引入新的数据来源,引入新的学习范式,模型架构这样较为中早期的研究方案(这里拿3D Detector为例,早期工作讨论数据输入范式(Lidar还是Video),中期工作讨论模型架构,后期讨论极致优化和性能压榨,以大规模蒸馏和半监督学习收尾)。

很庆幸,大组的工作还主要在输入模态,模型架构等方面进行探讨说明这个领域的方案并没有收敛,短时间内还是一片蓝海。

另外在数据与模型运营方面,我们看到了一个很好的技术趋势 agent simulator, sensor simulator, 以及 driving policy (这个policy可以是e2e也可以是vla/vlm) 进行闭环已经在学术界和工业界基本达成了共识。在这个大背景下谁更早的解决sim2real的domain gap,谁更高效的搭建这样一个闭环训练链路,谁的系统更高效那未来一定是可以引领自动驾驶技术市场的。

毕竟,没有数据闭环的端到端/VLA只是半成品。

以上。

如果你也想和自动驾驶学术界或工业界的大佬交流,欢迎加入自动驾驶之心知识星球。我们是一个认真做内容的社区,一个培养未来领袖的地方。

『自动驾驶之心知识星球』目前集视频 + 图文 + 学习路线 + 问答 + 求职交流为一体,是一个综合类的自驾社区,已经超过4000人了。我们期望未来2年内做到近万人的规模。给大家打造一个交流+技术分享的聚集地,是许多初学者和进阶的同学经常逛的地方。

社区内部还经常为大家解答各类实用问题:端到端如何入门?自动驾驶多模态大模型如何学习?自动驾驶VLA的学习路线。数据闭环4D标注的工程实践。快速解答,方便大家应用到项目中。

更有料的是:星球内部为大家梳理了近40+技术路线,无论你是咨询行业应用、还是要找最新的VLA benchmark、综述和学习入门路线,都能极大缩短检索时间。星球还为大家邀请了数十位自动驾驶领域嘉宾,都是活跃在一线产业界和工业界的大佬(经常出现的顶会和各类访谈中哦)。欢迎随时提问,他们将会为大家答疑解惑。除了上面的问题,我们还为大家梳理了很多其它的内容:

  • 端到端自动驾驶如何入门?一段式/二段式量产中如何使用?

  • 传统规划控制想转端到端VLA,求学习路线图!

  • 自动驾驶多模态大模型预训练数据集有哪些?求自动驾驶VLA微调数据集?

  • 多传感器融合现在还适合就业吗?

  • 3DGS和闭环仿真如何结合?应用中需要考虑哪些元素?

  • 世界模型是个啥?业内如何应用,研究还有切入点么?

  • 业内哪家公司前景好一些,适合跳槽,都有什么岗位开放招聘?求星主内推~

  • 博士入学,哪个方向容易出成果?

  • 闭环强化学习如何入门?

  • 端到端自动驾驶学习路线推荐。

  • ......

我们会不定期和一线的学术界&工业界大佬畅聊自动驾驶发展趋势,探讨技术走向和量产痛点:

针对入门者,我们整理了完备的小白入门技术栈和全栈路线图。

国内首个自驾全栈社区:自动驾驶之心知识星球

社区创建的出发点是给大家提供一个自动驾驶相关的技术交流平台,交流学术和工程上的问题。星球内部的成员来自国内外知名高校实验室、自动驾驶相关的头部公司,其中高校和科研机构包括但不限于:上海交大、北京大学、CMU、清华大学、西湖大学、上海人工智能实验室、港科大、港大、南洋理工、新加坡国立、ETH、南京大学、华中科技大学、ETH等等!公司包括但不限于:蔚小理、地平线、华为、大疆、广汽、上汽、博世、轻舟智航、斑马智行、小米汽车、英伟达、Momenta、百度等等。前沿技术聚集地一直是自动驾驶之心的标签!

我们为大家汇总了近40+开源项目、近60+自动驾驶相关数据集、行业主流自驾仿真平台、以及各类技术学习路线,包括但不限于:

自动驾驶感知学习路线

自动驾驶仿真学习路线

自动驾驶规划控制学习路线

端到端学习路线

3DGS算法原理

基于搜索的规划

VLA学习路线

NeRF原理

基于采样的规划

多模态大模型

Carla仿真

基于车辆运动学的规划

占用网络

Apollo仿真

基于数值优化的规划

BEV感知

Autoware仿真

横纵解耦规划框架

扩散模型

联合仿真

横纵联合规划框架

世界模型

自驾仿真产品架构分析

基于几何的路径跟踪

多传感器融合

闭环仿真

模型预测控制

轨迹预测

相关数据集

联合预测

......

......

......

星球内容一览

星球内容一览!

欢迎加入自动驾驶之心知识星球,与4000名自动驾驶从业人员&学术大佬一同交流。

内容概要:本文介绍了一个基于多传感器融合的定位系统设计方案,采用GPS、里程计和电子罗盘作为定位传感器,利用扩展卡尔曼滤波(EKF)算法对多源传感器数据进行融合处理,最终输出目标的滤波后位置信息,并提供了完整的Matlab代码实现。该方法有效提升了定位精度与稳定性,尤其适用于存在单一传感器误差或信号丢失的复杂环境,如自动驾驶、移动采用GPS、里程计和电子罗盘作为定位传感器,EKF作为多传感器的融合算法,最终输出目标的滤波位置(Matlab代码实现)机器人导航等领域。文中详细阐述了各传感器的数据建模方式、状态转移与观测方程构建,以及EKF算法的具体实现步骤,具有较强的工程实践价值。; 适合人群:具备一定Matlab编程基础,熟悉传感器原理和滤波算法的高校研究生、科研人员及从事自动驾驶、机器人导航等相关领域的工程技术人员。; 使用场景及目标:①学习和掌握多传感器融合的基本理论与实现方法;②应用于移动机器人、无人车、无人机等系统的高精度定位与导航开发;③作为EKF算法在实际工程中应用的教学案例或项目参考; 阅读建议:建议读者结合Matlab代码逐行理解算法实现过程,重点关注状态预测与观测更新模块的设计逻辑,可尝试引入真实传感器数据或仿真噪声环境以验证算法鲁棒性,并进一步拓展至UKF、PF等更高级滤波算法的研究与对比。
内容概要:文章围绕智能汽车新一代传感器的发展趋势,重点阐述了BEV(鸟瞰图视角)端到端感知融合架构如何成为智能驾驶感知系统的新范式。传统后融合与前融合方案因信息丢失或算力需求过高难以满足高阶智驾需求,而基于Transformer的BEV融合方案通过统一坐标系下的多源传感器特征融合,在保证感知精度的同时兼顾算力可行性,显著提升复杂场景下的鲁棒性与系统可靠性。此外,文章指出BEV模型落地面临大算力依赖与高数据成本的挑战,提出“数据采集-模型训练-算法迭代-数据反哺”的高效数据闭环体系,通过自动化标注与长尾数据反馈实现算法持续进化,降低对人工标注的依赖,提升数据利用效率。典型企业案例进一步验证了该路径的技术可行性与经济价值。; 适合人群:从事汽车电子、智能驾驶感知算法研发的工程师,以及关注自动驾驶技术趋势的产品经理和技术管理者;具备一定自动驾驶基础知识,希望深入了解BEV架构与数据闭环机制的专业人士。; 使用场景及目标:①理解BEV+Transformer为何成为当前感知融合的主流技术路线;②掌握数据闭环在BEV模型迭代中的关键作用及其工程实现逻辑;③为智能驾驶系统架构设计、传感器选型与算法优化提供决策参考; 阅读建议:本文侧重技术趋势分析与系统级思考,建议结合实际项目背景阅读,重点关注BEV融合逻辑与数据闭环构建方法,并可延伸研究相关企业在舱泊一体等场景的应用实践。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值