驾驶辅助系统：基于LLM的开源项目教程

驾驶辅助系统：基于LLM的开源项目教程

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs

1. 项目介绍

本项目是基于论文《Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving》的PyTorch实现。该系统利用预训练的语言模型，通过融合对象级向量输入，对自动驾驶中的行为进行预测和解释，提供了一个健壮且可解释的自动驾驶解决方案。

2. 项目快速启动

环境准备

• Python 3.x
• pip
• 至少20GB VRAM用于运行评估（推荐40GB VRAM用于训练）

虚拟环境设置

python3 -m venv env
source env/bin/activate

安装依赖

pip install -r requirements.txt.lock

数据集准备

解压提供的数据集：

tar -xzvf data/vqa_train_10k.tar.gz -C data/
tar -xzvf data/vqa_test_1k.tar.gz -C data/

评估

执行以下命令进行感知和动作预测评估：

python train.py \
--mode eval \
--resume_from_checkpoint models/weights/stage2_with_pretrained/ \
--data_path data/vqa_train_10k.pkl \
--val_data_path data/vqa_test_1k.pkl \
--eval_items caption,action \
--vqa

执行以下命令进行DrivingQA评估：

python train.py \
--mode eval \
--resume_from_checkpoint models/weights/stage2_with_pretrained/ \
--data_path data/vqa_train_10k.pkl \
--val_data_path data/vqa_test_1k.pkl \
--eval_items vqa \
--vqa

训练

执行以下命令开始训练LLM-Driver：

python train.py \
--mode train \
--eval_steps 50 \
--val_set_size 32 \
--num_epochs 5 \
--resume_from_checkpoint models/weights/stage1_pretrained_model/ \
--data_path data/vqa_train_10k.pkl \
--val_data_path data/vqa_test_1k.pkl \
--vqa

3. 应用案例和最佳实践

• 案例：使用LLM-Driver在模拟环境中进行自动驾驶行为预测。
• 最佳实践：确保使用对象级向量输入，以获得更准确的预测结果。

4. 典型生态项目

本项目是基于开源社区的努力，以下是一些可能相关的生态项目：

• Alpaca LoRA：本项目受到了Alpaca LoRA项目的启发。
• 其他自动驾驶相关项目：涉及自动驾驶领域的其他开源项目，如传感器融合、路径规划等。

以上就是基于LLM的自动驾驶辅助系统的开源项目教程，希望能够帮助您快速上手和使用该项目。

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs