BuboGPT 项目使用教程

BuboGPT 项目使用教程

1. 项目目录结构及介绍

bubogpt/
├── constants/
├── dataset/
├── eval_configs/
├── eval_scripts/
├── examples/
├── imagebind/
├── prompts/
├── ram/
├── train_configs/
├── .gitignore
├── InputSans-Regular.ttf
├── LICENSE.md
├── LICENSE_Lavis.md
├── PrepareVicuna.md
├── README.md
├── app.py
├── dist_train.sh
├── grounding_model.py
├── match.py
├── pre-requirements.txt
├── requirements.txt
├── tagging_model.py
└── train.py

目录结构介绍

• constants/: 存放项目常量文件。
• dataset/: 存放数据集相关文件。
• eval_configs/: 存放评估配置文件。
• eval_scripts/: 存放评估脚本。
• examples/: 存放示例文件。
• imagebind/: 存放图像绑定相关文件。
• prompts/: 存放提示相关文件。
• ram/: 存放随机存取存储器相关文件。
• train_configs/: 存放训练配置文件。
• .gitignore: Git忽略文件。
• InputSans-Regular.ttf: 字体文件。
• LICENSE.md: 项目许可证文件。
• LICENSE_Lavis.md: 许可证文件。
• PrepareVicuna.md: Vicuna模型准备文档。
• README.md: 项目说明文档。
• app.py: 项目启动文件。
• dist_train.sh: 分布式训练脚本。
• grounding_model.py: 视觉接地模型文件。
• match.py: 匹配模型文件。
• pre-requirements.txt: 预安装依赖文件。
• requirements.txt: 项目依赖文件。
• tagging_model.py: 标签模型文件。
• train.py: 训练脚本文件。

2. 项目启动文件介绍

app.py

app.py 是项目的启动文件，用于运行 Gradio 演示。可以通过以下命令启动：

python3 app.py --cfg-path eval_configs/mmgpt4_eval.yaml --gpu-id 0

该命令会根据指定的配置文件和 GPU ID 启动 Gradio 演示，展示 BuboGPT 的多模态理解能力。

3. 项目的配置文件介绍

eval_configs/mmgpt4_eval.yaml

该配置文件用于评估 BuboGPT 模型的性能。它包含了评估所需的参数和路径设置，例如模型路径、数据集路径等。

train_configs/mmgpt4_stage1_audio.yaml

该配置文件用于第一阶段的音频预训练。它包含了训练所需的参数和路径设置，例如数据集路径、模型路径等。

train_configs/mmgpt4_stage2_mm.yaml

该配置文件用于第二阶段的多模态指令微调。它包含了微调所需的参数和路径设置，例如第一阶段训练的模型路径、数据集路径等。

通过这些配置文件，用户可以自定义训练和评估的参数，以适应不同的需求和环境。