《Driving-with-LLMs 项目安装与配置指南》

《Driving-with-LLMs 项目安装与配置指南》

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs

1. 项目基础介绍

《Driving-with-LLMs》是一个基于PyTorch的开源项目，它实现了将对象级别的向量模态与预训练语言模型相结合，用于可解释的自动驾驶系统。该项目旨在通过融合来自驾驶模拟器的对象级别向量输入，预测出可解释的行动，提供一个健壮且可解释的自动驾驶解决方案。

主要编程语言：Python

2. 项目使用的关键技术和框架

• PyTorch：一个开源的机器学习库，基于Python，提供了灵活而强大的工具，用于计算机视觉和自然语言处理等应用。
• 预训练语言模型：利用大规模文本数据预训练的语言模型，用于理解和生成自然语言。
• 对象级别向量输入：来自驾驶模拟器的对象级别向量数据，用于自动驾驶系统的感知和决策。

3. 项目安装和配置准备工作

在开始安装之前，请确保您的计算机满足了以下要求：

• Python 3.x
• pip（Python包管理器）
• 至少20GB的VRAM用于评估
• 至少40GB的VRAM用于训练

详细安装步骤

1. 克隆项目到本地：

   git clone https://github.com/wayveai/Driving-with-LLMs.git
   cd Driving-with-LLMs
   

2. 设置虚拟环境：

   python3 -m venv env
   source env/bin/activate  # 在Windows系统中使用 `env\Scripts\activate`
   

3. 安装项目依赖：

   pip install -r requirements.txt.lock
   

   注意：requirements.txt.lock 文件是为了确保依赖的版本一致，从而保证项目的可复现性。

4. 设置WandB API密钥（可选，用于训练和评估日志记录）：

   export WANDB_API_KEY=你的WandBAPI密钥
   

5. 解压数据集：

   tar -xzvf data/vqa_train_10k.tar.gz -C data/
   tar -xzvf data/vqa_test_1k.tar.gz -C data/
   

   如果需要重新收集DrivingQA数据，可以使用以下脚本：

   python scripts/collect_vqa.py -i data/vqa_test_1k.pkl -o output_folder/ --openai_api 你的OpenAIAPI密钥
   

以上步骤将帮助您成功安装和配置《Driving-with-LLMs》项目。接下来，您可以按照项目提供的教程进行评估或训练。

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs