VLM-R1 项目使用教程

VLM-R1 项目使用教程

VLM-R1 Solve Visual Understanding with Reinforced VLMs 项目地址: https://gitcode.com/gh_mirrors/vl/VLM-R1

1. 项目的目录结构及介绍

VLM-R1 项目目录结构如下：

.
├── assets/                  # 存放项目相关的资源文件，如图像等
├── src/                     # 源代码目录
│   ├── open-r1-multimodal/  # 包含 multimodal 的相关代码
│   │   ├── data_config/     # 数据配置文件
│   │   ├── run_scripts/     # 运行脚本
│   │   └── ...
│   ├── open_r1/             # 包含 R1 相关的代码
│   └── ...
├── .gitignore               # 指定 Git 忽略的文件和目录
├── CODE_OF_CONDUCT.md       # 项目行为准则
├── Dockerfile               # Docker 配置文件
├── LICENSE                  # 项目许可证文件
├── README.md                # 项目说明文件
├── setup.sh                 # 项目配置脚本
└── ...

• assets/: 存放项目所需的资源文件，如图片、数据集等。
• src/: 源代码目录，包含项目的所有代码。
  • open-r1-multimodal/: 包含 multimodal 的相关代码，如数据配置、运行脚本等。
  • open_r1/: 包含 R1 相关的代码。
• .gitignore: 指定 Git 忽略的文件和目录。
• CODE_OF_CONDUCT.md: 项目行为准则，指导参与者的行为。
• Dockerfile: Docker 配置文件，用于创建项目的 Docker 容器。
• LICENSE: 项目许可证文件，说明项目的版权和许可信息。
• README.md: 项目说明文件，介绍项目的相关信息。
• setup.sh: 项目配置脚本，用于安装项目依赖等。

2. 项目的启动文件介绍

项目的启动文件主要是 src/open-r1-multimodal/run_scripts/ 目录下的脚本文件。以下是一个示例启动文件 run_grpo_rec.sh 的介绍：

# 启动 Referring Expression Comprehension (REC) 任务
bash src/open-r1-multimodal/run_scripts/run_grpo_rec.sh

该脚本用于启动基于 GRPO（General Language Modeling for Referring Expression Comprehension）的 REC 任务。脚本会调用 PyTorch 的 torchrun 命令来启动训练过程。

3. 项目的配置文件介绍

项目的配置文件位于 src/open-r1-multimodal/data_config/ 目录下。以下是一个示例配置文件 rec.yaml 的介绍：

datasets:
- json_path: /path/to/refcoco_train.json
- json_path: /path/to/refcocop_train.json
- json_path: /path/to/refcocog_train.json

该配置文件定义了用于训练的数据集路径。这里列出了三个 JSON 文件路径，分别是 RefCOCO、RefCOCO+ 和 RefCOCO-G 数据集的训练集文件路径。

配置文件允许用户根据自己的数据集路径进行修改，以确保项目能够正确地加载所需的数据。

VLM-R1 Solve Visual Understanding with Reinforced VLMs 项目地址: https://gitcode.com/gh_mirrors/vl/VLM-R1