端到端新SOTA！DiffE2E：Diffusion重塑端到端自动驾驶

最新推荐文章于 2025-09-08 07:32:34 发布

原创

最新推荐文章于 2025-09-08 07:32:34 发布 · 810 阅读

20 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶 #人工智能 #机器学习

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

今天自动驾驶之心为大家分享吉林大学最新的工作！DiffE2E：用扩散模型重塑端到端自动驾驶！如果您有相关工作需要分享，请在文末联系我们！

自动驾驶课程学习与技术交流群事宜，也欢迎添加小助理微信AIDriver004做进一步咨询

>>点击进入→自动驾驶之心『扩散模型』技术交流群

论文作者 | Rui Zhao等

编辑 | 自动驾驶之心

写在前面 && 笔者理解

为了避免感知、预测、规控各个模块之间的信息传递损失，端到端可谓是当下自动驾驶领域最主流的技术方向，没有之一。现在主流玩法是用显式监督学习，直接从海量驾驶数据里学怎么把环境信息变成方向盘和油门控制。不过这路子也有两个较大的硬伤：开车本来就有多种可能性（比如遇到障碍可以绕左或绕右），但监督学习只会学个"平均动作"，结果经常整出别扭操作；而且遇到训练数据里没见过的奇葩路况，模型就直接懵了。

论文链接：https://arxiv.org/pdf/2505.19516

设想一下，遇到一个十字路口，老司机可能有五六个合理选择，而现在的AI只会选个相对比较折中方案。为了解决这个问题，最近也有人用离散轨迹集合来应对多模态问题，但这种硬编码的方式就像把活人手脚绑住，把灵活的决策变成固定选项选择题，遇到突发状况就抓瞎。这时候扩散模型（Diffusion Models）就可以大展身手了！这项技术其实在AI作画圈已经封神，靠"先加噪再去噪"的套路能生成千变万化的图片。机器人运动规划领域也验证了它能搞定复杂动作序列。但自动驾驶任务要更为困难——既要实时响应，又要确保轨迹符合交规，还得躲开乱窜的行人和车流。

所以，最近有些团队试水用扩散模型做路径规划和端到端控制，用了DDIM、DPM-Solver这些加速技术，效果确实惊艳。不过现在多数方法只是把扩散模型当"后处理插件"（如图1(b)），在传统规划模块后面加个扩散优化。这相当于戴着镣铐跳舞——既丢了原始感知数据的细节，又被前面的模块限制发挥。

基于这样的背景之下，作者提出了一个新的方案—— DiffE2E 框架（如图2所示）。首先用双向跨注意力让激光雷达和摄像头的数据对齐，把不同传感器的信息融合到一起。然后送进Transformer架构的混合解码器，让扩散模型和传统监督学习组队打配合：扩散模型负责天马行空地想象各种可能轨迹，监督学习则盯紧车速、周围车辆动态这些硬指标。这俩通过跨注意力机制实时交换信息，最后生成既灵活又靠谱的驾驶方案。

预备知识

问题定义：这篇论文聚焦于基于扩散模型的端到端自动驾驶闭环控制策略。系统直接以多模态原始感知数据作为输入，包括前视摄像头RGB图像、激光雷达点云及车辆状态信息。系统输出自车未来轨迹，其完整采样分布表示为：

在扩散建模中，表示扩散过程第步的中间变量，最终预测轨迹为，其中每个路径点表示预测轨迹中的位置信息。条件信息通过跨模态特征融合模块从多模态传感器数据编码获得。与传统开环控制不同，闭环控制中当前时刻的轨迹决策直接影响下一时刻的感知输入，形成动态反馈回路。这种耦合关系要求模型具备强大的时序一致性与鲁棒性。