DriveGPT4：自动驾驶或将迎来GPT时刻？结合LLM的端到端系统来了！

最新推荐文章于 2025-04-19 10:20:41 发布

原创

最新推荐文章于 2025-04-19 10:20:41 发布 · 562 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#自动驾驶 #gpt #人工智能 #机器学习

本文介绍了DriveGPT4，它是利用大语言模型可解释性实现的端到端自动驾驶系统。通过ChatGPT辅助创建数据集，经预训练和微调阶段训练。实验表明，DriveGPT4在车辆动作描述、控制信号预测等任务上优于基线，且有强大泛化能力。

点击下方卡片，关注“自动驾驶之心”公众号

ADAS巨卷干货，即可获取

>>点击进入→自动驾驶之心【端到端自动驾驶】技术交流群

论文作者 | Zhenhua Xu

编辑 | 自动驾驶之心

笔者的个人理解

在过去的十年里，自动驾驶在学术界和工业界都得到了快速发展。然而其有限的可解释性仍然是一个悬而未决的重大问题，严重阻碍了自动驾驶的发展进程。以前使用小语言模型的方法由于缺乏灵活性、泛化能力和鲁棒性而未能解决这个问题。近两年随着ChatGPT的出现，多模态大型语言模型（LLM）因其通过文本处理和推理非文本数据（如图像和视频）的能力而受到研究界的极大关注。因此一些工作开始尝试将自动驾驶和大语言模型结合起来，今天汽车人为大家分享的DriveGPT4就是利用LLM的可解释实现的端到端自动驾驶系统。DriveGPT4能够解释车辆动作并提供相应的推理，以及回答用户提出的各种问题以增强交互。此外，DriveGPT4以端到端的方式预测车辆的运动控制。这些功能源于专门为无人驾驶设计的定制视觉指令调整数据集。DriveGPT4也是世界首个专注于可解释的端到端自动驾驶的工作。当与传统方法和视频理解LLM一起在多个任务上进行评估时，DriveGPT4表现出SOTA的定性和定量性能。

项目主页：https://tonyxuqaq.github.io/projects/DriveGPT4/

总结来说，DriveGPT4的主要贡献如下：

为可解释的自动驾驶开发了一个新的视觉指令调整数据集。
提出了一个全新的多模态LLM—DriveGPT4。DriveGPT4对创建的数据集进行了微调，可以处理多模态输入数据，并提供文本输出和预测的控制信号。
在多个任务上评估所有方法，DriveGPT4的性能优于所有基线。此外，DriveGPT4可以通过零样本泛化处理看不见的场景。

通过ChatGPT生成指令数据

具体来说，DriveGPT4训练使用的视频和标签是从BDD-X数据集中收集的，该数据集包含约20000个样本，包括16803个用于训练的clip和2123个用于测试的clip。每个clip采样8个图像。此外，它还提供每帧的控制信号数据（例如，车辆速度和车辆转弯角度）。BDD-X为每个视频clip提供了关于车辆行动描述和行动理由的文本注释，如图1所示。在以前的工作中，ADAPT训练caption网络来预测描述和理由。但是，提供的描述和标签是固定的和刚性的。如果人类用户希望了解更多关于车辆的信息并询问日常问题，那么过去的工作可能会功亏一篑。因此，仅BDD-X不足以满足可解释自动驾驶的要求。