Driving-with-LLMs：为自动驾驶带来革命性的解释性方案

Driving-with-LLMs：为自动驾驶带来革命性的解释性方案

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs

自动驾驶技术的发展已经进入了一个全新的时代，其中解释性自动驾驶更是成为了研究的热点。今天，我们要介绍一个开源项目——Driving-with-LLMs，它为自动驾驶领域带来了革命性的解释性方案。

项目介绍

Driving-with-LLMs 是一个基于 PyTorch 的实现，用于推理和训练 LLM-Driver。LLM-Driver 通过融合对象级别的向量模态，为自动驾驶提供了一种鲁棒且可解释的解决方案。该项目由 Long Chen、Oleg Sinavski 等多位研究人员共同开发，并在 arXiv 上发表了相关论文。

项目技术分析

Driving-with-LLMs 项目采用了先进的语言模型技术，将对象级别的向量输入与预训练语言模型相结合，以预测自动驾驶中的可解释动作。其核心技术包括：

1. 对象级别向量输入：利用驾驶模拟器中的对象级别向量输入，为语言模型提供丰富的信息。
2. 预训练语言模型：通过使用预训练的语言模型，项目能够在自动驾驶过程中生成解释性动作。
3. 可解释性：项目不仅提供了预测动作，还能对动作进行解释，增加了自动驾驶系统的可靠性。

项目及技术应用场景

Driving-with-LLMs 的应用场景广泛，以下是一些主要的应用场景：

1. 自动驾驶模拟：在模拟环境中，项目可以实时预测和解释自动驾驶的动作。
2. 驾驶辅助系统：在实车环境中，项目可以作为驾驶辅助系统的一部分，提供解释性的决策支持。
3. 安全评估：项目可以用于自动驾驶系统的安全评估，通过解释性分析提高系统的可靠性。

以下是该项目在实际应用中的一个示例：

图1：LLM-Driver 使用向量输入进行开环预测，展示预测动作（转向角度和加速/刹车踏板）以及动作解释（视频上的文字说明）和驾驶问题回答（底部的表格）。

项目特点

Driving-with-LLMs 项目具有以下显著特点：

1. 鲁棒性：项目在多种驾驶环境中均表现出良好的性能，能够适应不同的驾驶场景。
2. 解释性：项目不仅提供动作预测，还提供了动作的解释，使得自动驾驶系统更加透明和可靠。
3. 易于部署：项目基于 PyTorch 实现，具有良好的可扩展性和易用性，便于在多种环境中部署和使用。

总结而言，Driving-with-LLMs 是一个具有革命性的自动驾驶解释性方案，它的出现为自动驾驶技术的发展带来了新的可能性。通过融合对象级别的向量输入和预训练语言模型，项目不仅提高了自动驾驶系统的性能，还增强了其可靠性和透明度。对于从事自动驾驶相关领域的研究人员或工程师来说，Driving-with-LLMs 无疑是一个值得关注的开源项目。

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs