理想ICCV‘25分享了世界模型：从数据闭环到训练闭环

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近30个方向学习路线

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

理想汽在ICCV'25期间也分享了些新东西！目前还没有视频对外。

VLA团队负责人詹锟老师做了一场世界模型的presentation，名为World Model: Evolving from Data Closed-loop to Training Closed-loop。自动驾驶之心第一时间做了解读分享给大家~

首先是介绍下理想VLA司机大模型：

回顾了理想汽车智能驾驶的发展路线，从规则时代的轻图和无图，再到基于AI的E2E+VLM快慢双系统和VLA，这四个方案中Nav（导航）是重点突出的模块。

下面介绍的是数据闭环的价值。左上角这张图是一个完整的数据闭环流程：影子模式验证→经由数据触发回传到云端进行数据挖掘→有效样本进行自动标注→生成训练集训练模型→模型下发验证性能。

这个过程已经可以做到一分钟的数据回传。

目前已经有15亿公里的驾驶数据，200+的Trigger来生产15-45s的Clip数据。

目前理想的端到端量产版本MPI已经到了220+，相比于24年7月底的版本，MPI翻了19倍左右。

数据闭环虽然有效，但仅靠数据闭环解决不了所有问题。主要还是长尾场景的收敛问题，交通管制、烟花燃放、突然的变道等等。

所以抛出来一个观点：自动驾驶进入下半场

自动驾驶的下半场换个新玩法：从数据闭环到训练闭环。

L4的训练循环的核心是：VLA+RL+WM。

• 轨迹由VLA的Diffusion和基于世界模型的强化学习共同优化；

• 强化学习不仅仅是RLHF，还有RLVR和RLAIF

• 右侧的世界模型主要指场景重建和新视角复原；

闭环自动驾驶训练关键技术栈：区域级别的仿真、合成数据和强化学习。

• 仿真靠场景重建：视觉/Lidar重建、区域重建、多趟重建、场景编辑和风格迁移；

• 合成数据靠多模态生成：视频/点云生成、神经渲染；

• 强化学习靠Agent、3D资产和评测&奖励

詹锟老师本人出镜的重建和生成效果图。

理想汽车近期从重建到生成的方案发展，确实Feedforward 3DGS今年提的很多，无需点云初始化，直接由视觉输入得到最终结果。

理想这两年重建方面的工作，两篇顶会。

联合重建&生成方面的工作，一篇顶会。

生成方面的工作，三篇顶会。

生成的应用：从场景编辑，到场景迁移再到场景生成。

新的数据配比，看起来数据上下了不少功夫。

系统能力是增强引擎的关键，世界模型提供的仿真环境、3D资产构建多样化的场景、SimAgents做交互式行为建模、奖励模型准确的反馈泛化能力、GPU工程加速推理。

重点强调了可交互的Agent是训练闭环的关键挑战。

总结一下取得的成果和奖励。

自动驾驶之心

论文辅导来啦

自驾交流群来啦！

自动驾驶之心创建了近百个技术交流群，涉及大模型、VLA、端到端、数据闭环、自动标注、BEV、Occupancy、多模态融合感知、传感器标定、3DGS、世界模型、在线地图、轨迹预测、规划控制等方向！欢迎添加小助理微信邀请进群。

知识星球交流社区

近4000人的交流社区，近300+自动驾驶公司与科研结构加入！涉及30+自动驾驶技术栈学习路线，从0到一带你入门自动驾驶感知（大模型、端到端自动驾驶、世界模型、仿真闭环、3D检测、车道线、BEV感知、Occupancy、多传感器融合、多传感器标定、目标跟踪）、自动驾驶定位建图（SLAM、高精地图、局部在线地图）、自动驾驶规划控制/轨迹预测等领域技术方案、大模型，更有行业动态和岗位发布！欢迎加入。

独家专业课程

端到端自动驾驶、大模型、VLA、仿真测试、自动驾驶C++、BEV感知、BEV模型部署、BEV目标跟踪、毫米波雷达视觉融合、多传感器标定、多传感器融合、多模态3D目标检测、车道线检测、轨迹预测、在线高精地图、世界模型、点云3D目标检测、目标跟踪、Occupancy、CUDA与TensorRT模型部署、大模型与自动驾驶、NeRF、语义分割、自动驾驶仿真、传感器部署、决策规划、轨迹预测等多个方向学习视频

学习官网：www.zdjszx.com