开源项目使用教程：Driving-with-LLMs

开源项目使用教程：Driving-with-LLMs

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs

1. 项目目录结构及介绍

Driving-with-LLMs 项目是一个用于自动驾驶的可解释性研究项目，其目录结构如下：

• assets/：存储项目的相关资源文件。
• data/：包含训练和测试数据集。
• models/：存放训练好的模型权重文件。
• results/：保存模型运行后的结果文件。
• scripts/：包含项目运行所需的脚本文件。
• utils/：包含一些工具函数和类。
• .gitignore：指定 Git 忽略的文件和目录。
• LICENSE：项目的许可证文件。
• README.md：项目的说明文档。
• requirements.txt：项目依赖的 Python 包列表。
• requirements.txt.lock：锁定依赖包的版本，确保环境一致。
• train.py：项目的启动文件，用于训练和评估模型。
• train_bc.py：用于训练和评估 Perceiver-BC 模型的脚本。

2. 项目的启动文件介绍

项目的启动文件是 train.py。该文件包含了以下几个主要功能：

• 训练模型：通过设置 --mode train 参数启动模型训练。
• 评估模型：通过设置 --mode eval 参数对模型进行评估。

启动文件的使用示例如下：

python train.py --mode train --num_epochs 5 --data_path data/vqa_train_10k.pkl

上述命令将启动模型训练过程，训练 5 个周期，并使用 data/vqa_train_10k.pkl 作为训练数据。

3. 项目的配置文件介绍

项目的配置主要通过命令行参数进行，但也可以在代码中调整。以下是一些重要的配置参数：

• --mode：指定运行模式，train 表示训练，eval 表示评估。
• --num_epochs：指定训练的周期数。
• --eval_steps：指定评估的步数。
• --val_set_size：指定验证集的大小。
• --resume_from_checkpoint：从指定的检查点恢复训练。
• --data_path：指定训练数据的路径。
• --val_data_path：指定验证数据的路径。
• --eval_items：指定评估的项目，如 caption, action, vqa 等。

这些配置参数可以在命令行中根据需要进行调整，以满足不同的训练和评估需求。例如：

python train.py --mode eval --resume_from_checkpoint models/weights/stage2_with_pretrained/ --data_path data/vqa_train_10k.pkl --val_data_path data/vqa_test_1k.pkl --eval_items caption,action

上述命令将使用预训练的模型权重对模型进行评估，评估的项目包括生成字幕和预测动作。

Driving-with-LLMs PyTorch implementation for the paper "Driving with LLMs: Fusing Object-Level Vector Modality for Explainable Autonomous Driving" 项目地址: https://gitcode.com/gh_mirrors/dr/Driving-with-LLMs