bhoigu的博客

OpenEMMA（Open-source End-to-end Multimodal Model for Autonomous driving）是由德州农工大学、密歇根大学和多伦多大学联合推出的开源端到端自动驾驶多模态模型框架，旨在复现并开源 Waymo 旗下 EMMA 系统的核心思路与方法。该框架基于预训练的多模态大型语言模型（MLLMs），结合视觉感知和历史驾驶状态，实现对复杂驾驶场景的推理、判断和轨迹规划。

World Foundation Model（WFM） 是 Cosmos 的底层支撑技术，是一种专门为物理世界感知与模拟设计的生成式世界模型。WFM 能够在模拟空间中重构真实物理交互环境，学习物体之间的动态因果机制与演化过程。连续潜空间（Continuous Latent）与离散潜空间（Discrete Latent）的建模能力可扩展至多模态输入（视觉、语言、轨迹、深度等）具备从起始帧生成中间状态序列的能力，适用于视频生成、运动模拟等场景。

2025年2月14日，清华大学AIR智能产业研究院联合毫末智行、中科院自动化所和香港中文大学团队，在ICLR 2025会议上发布了Diffusion Planner——一种创新性的基于Diffusion Transformer的自动驾驶规划模型架构。该系统联合建模周车运动预测与自车行为规划，显著提升了复杂场景下的决策效率与稳定性，克服了传统学习方法对后处理的依赖，推动了自动驾驶系统从“黑盒生成”走向“可控可调”的新时代。

2025年，苏黎世研究团队在RSS2025会议上正式提出「LLM-MPC混合架构」，标志着大语言模型（LLM）在自动驾驶系统中的实用化迈出关键一步。该方案旨在解决传统深度学习模型在极端交通场景中泛化能力不足的问题。通过在车载终端边缘部署LLM，并融合模型预测控制（MPC）技术，系统在保持实时性与安全性的同时，推理速度提升10.5倍，为复杂环境中的高鲁棒决策提供全新范式。

本文介绍24年11月来自极佳科技、中科院自动化所、理想汽车、北大和慕尼黑工大的论文“DriveDreamer4D: World Models Are Effective Data Machines for 4D Driving Scene Representation”随着端到端自动驾驶系统的发展，对高质量闭环仿真系统的需求日益增长。现有的传感器建模方法（如 NeRF 和 3DGS）由于依赖训练数据分布，主要局限于前向驾驶场景，难以还原复杂动态，如变道、加减速等。

DiffusionDrive 是由 地平线公司与华中科技大学于 2025年3月26日 联合发布的一项面向自动驾驶与智能决策的新型扩散模型方法。该模型基于条件扩散机制，实现了多模态、高鲁棒性的轨迹规划能力，标志着扩散模型在实际决策任务中的首次高效落地，相关研究成果在多个开放数据集上取得了领先性能。