自动驾驶之心对话星球嘉宾某国际Tier1高级算法专家,一起探讨了下国内自动驾驶技术未来的发展趋势:
首先抛出我的观点,下一代自动驾驶技术的一定是围绕着更安全的驾驶,更好的乘坐体验,更全面的场景覆盖。
为了实现这一目标无论是主机厂还是供应商需要建立一个更加系统,更加健全的自动驾驶运营模式,软件算法和数据运营会是其中两大核心能力(类似推荐算法是抖音的核心,但是其背后是其强大的数据运营能力)。
未来的自动驾驶公司可能更像“数据驱动的科技公司”。
类似抖音的推荐算法,自动驾驶的竞争将从算法转向数据闭环的效率。谁能更快收集、清洗、标注、训练、验证,谁就占据优势。这需要强大的自动化工具链和AI驱动的数据流水线。那么我们不妨畅想这样一个架构,VLA/VLM作为最终影响终端用户应用体验的车端/车云端的应用,为了打造这样一个高体验感的产品,围绕VLA/VLM, 利用世界模型构建一个健壮高效低成本闭环仿真支持闭环验证,或者进一步利用强化学习对VLM/VLA进行闭环训练,持续提高自动驾驶数据运营和应用迭代效率,会是接下来自动驾驶公司新一轮技术迭代的关键。
具体而言,对于VLA,如果面向量产,VLA其实在一些复杂场景中表现出来了非常强大的应用潜力,但是反而对于一些简单场景,以及安全相关的场景纯粹的数据驱动的模型在简单场景下可能出现“过度自信”或“常识性错误”。
而目前存世的自动驾驶相关技术公司,其实在简单场景和安全场景都有了一定的积累和能力,如果直接抛弃这部分积累全量使用VLA个人认为并不是一个成熟选择。
除此之外我们在考虑算法本身的时候也需要考虑其背后庞大的为算法进行配套服务的数据服务以及自动化标注底座,短期内抛弃这些积累多年的量产工具,是否值得也是另外一个问题(尤其是对于有盈利压力的公司而言)。
基于这个背景业内也有一些工作,像DiffVLA,期望在这个两阶段E2E+rule base兜底全面走向VLA时代的青黄不接期提出一个比较朴素的现实方案以帮助VLA方案进行滚动迭代。从具体方案层面考虑,VLA近期的论文还是以引入新的数据来源,引入新的学习范式,模型架构这样较为中早期的研究方案(这里拿3D Detector为例,早期工作讨论数据输入范式(Lidar还是Video),中期工作讨论模型架构,后期讨论极致优化和性能压榨,以大规模蒸馏和半监督学习收尾)。
很庆幸,大组的工作还主要在输入模态,模型架构等方面进行探讨说明这个领域的方案并没有收敛,短时间内还是一片蓝海。
另外在数据与模型运营方面,我们看到了一个很好的技术趋势 agent simulator, sensor simulator, 以及 driving policy (这个policy可以是e2e也可以是vla/vlm) 进行闭环已经在学术界和工业界基本达成了共识。在这个大背景下谁更早的解决sim2real的domain gap,谁更高效的搭建这样一个闭环训练链路,谁的系统更高效那未来一定是可以引领自动驾驶技术市场的。
毕竟,没有数据闭环的端到端/VLA只是半成品。
以上。
如果你也想和自动驾驶学术界或工业界的大佬交流,欢迎加入自动驾驶之心知识星球。我们是一个认真做内容的社区,一个培养未来领袖的地方。

『自动驾驶之心知识星球』目前集视频 + 图文 + 学习路线 + 问答 + 求职交流为一体,是一个综合类的自驾社区,已经超过4000人了。我们期望未来2年内做到近万人的规模。给大家打造一个交流+技术分享的聚集地,是许多初学者和进阶的同学经常逛的地方。
社区内部还经常为大家解答各类实用问题:端到端如何入门?自动驾驶多模态大模型如何学习?自动驾驶VLA的学习路线。数据闭环4D标注的工程实践。快速解答,方便大家应用到项目中。
更有料的是:星球内部为大家梳理了近40+技术路线,无论你是咨询行业应用、还是要找最新的VLA benchmark、综述和学习入门路线,都能极大缩短检索时间。星球还为大家邀请了数十位自动驾驶领域嘉宾,都是活跃在一线产业界和工业界的大佬(经常出现的顶会和各类访谈中哦)。欢迎随时提问,他们将会为大家答疑解惑。除了上面的问题,我们还为大家梳理了很多其它的内容:
端到端自动驾驶如何入门?一段式/二段式量产中如何使用?
传统规划控制想转端到端VLA,求学习路线图!
自动驾驶多模态大模型预训练数据集有哪些?求自动驾驶VLA微调数据集?
多传感器融合现在还适合就业吗?
3DGS和闭环仿真如何结合?应用中需要考虑哪些元素?
世界模型是个啥?业内如何应用,研究还有切入点么?
业内哪家公司前景好一些,适合跳槽,都有什么岗位开放招聘?求星主内推~
博士入学,哪个方向容易出成果?
闭环强化学习如何入门?
端到端自动驾驶学习路线推荐。
......
我们会不定期和一线的学术界&工业界大佬畅聊自动驾驶发展趋势,探讨技术走向和量产痛点:

针对入门者,我们整理了完备的小白入门技术栈和全栈路线图。


国内首个自驾全栈社区:自动驾驶之心知识星球
社区创建的出发点是给大家提供一个自动驾驶相关的技术交流平台,交流学术和工程上的问题。星球内部的成员来自国内外知名高校实验室、自动驾驶相关的头部公司,其中高校和科研机构包括但不限于:上海交大、北京大学、CMU、清华大学、西湖大学、上海人工智能实验室、港科大、港大、南洋理工、新加坡国立、ETH、南京大学、华中科技大学、ETH等等!公司包括但不限于:蔚小理、地平线、华为、大疆、广汽、上汽、博世、轻舟智航、斑马智行、小米汽车、英伟达、Momenta、百度等等。前沿技术聚集地一直是自动驾驶之心的标签!
我们为大家汇总了近40+开源项目、近60+自动驾驶相关数据集、行业主流自驾仿真平台、以及各类技术学习路线,包括但不限于:
自动驾驶感知学习路线 | 自动驾驶仿真学习路线 | 自动驾驶规划控制学习路线 |
|---|---|---|
端到端学习路线 | 3DGS算法原理 | 基于搜索的规划 |
VLA学习路线 | NeRF原理 | 基于采样的规划 |
多模态大模型 | Carla仿真 | 基于车辆运动学的规划 |
占用网络 | Apollo仿真 | 基于数值优化的规划 |
BEV感知 | Autoware仿真 | 横纵解耦规划框架 |
扩散模型 | 联合仿真 | 横纵联合规划框架 |
世界模型 | 自驾仿真产品架构分析 | 基于几何的路径跟踪 |
多传感器融合 | 闭环仿真 | 模型预测控制 |
轨迹预测 | 相关数据集 | 联合预测 |
...... | ...... | ...... |
星球内容一览
星球内容一览!

欢迎加入自动驾驶之心知识星球,与4000名自动驾驶从业人员&学术大佬一同交流。

数据闭环决定VLA成败
2251

被折叠的 条评论
为什么被折叠?



