UI-R1 项目启动和配置文档

UI-R1 项目启动和配置文档

UI-R1 项目地址: https://gitcode.com/gh_mirrors/ui/UI-R1

1、项目的目录结构及介绍

UI-R1 项目是一个利用强化学习增强多模态大型语言模型在 GUI 动作预测任务上的推理能力的研究框架。项目的目录结构如下：

UI-R1/
├── assets/              # 项目所需的资源文件
├── dataset/             # 数据集文件
├── evaluation/          # 评估脚本和结果
├── src/                 # 项目源代码
├── .gitignore           # git 忽略文件
├── LICENSE              # 项目许可证文件
├── README.md            # 项目说明文件
└── setup.sh             # 项目设置脚本

• assets/: 项目所需的资源文件，例如模型权重、预训练词表等。
• dataset/: 项目使用的数据集文件，例如图片、标注文件等。
• evaluation/: 包含评估脚本和结果，用于评估模型的性能。
• src/: 项目源代码，包含模型定义、训练和推理代码等。
• .gitignore: git 忽略文件，指定哪些文件或目录不应被 git 跟踪。
• LICENSE: 项目许可证文件，说明项目使用的许可证类型。
• README.md: 项目说明文件，介绍项目的背景、目标、使用方法等。
• setup.sh: 项目设置脚本，用于配置项目所需的依赖和环境。

2、项目的启动文件介绍

项目启动文件为 setup.sh，它负责配置项目所需的依赖和环境。在项目根目录下执行以下命令启动项目：

bash setup.sh

该脚本会执行以下操作：

1. 创建一个名为 ui-r1 的 conda 环境，并安装 Python 3.10。
2. 激活 ui-r1 环境。
3. 安装项目所需的 Python 库，例如 torch、numpy 等。
4. 下载项目所需的数据集和预训练模型。

执行完 setup.sh 脚本后，项目所需的依赖和环境配置完成，可以开始进行训练和推理。

3、项目的配置文件介绍

项目配置文件位于 src/config/ 目录下，用于配置模型的参数和训练过程。配置文件通常以 yaml 或 json 格式存储。以下是配置文件的一个示例：

model:
  name: "UI-R1-3B"
  backbone: "Qwen2.5-VL-3B"
  num_classes: 1000
  hidden_size: 1024
  dropout: 0.1
  attention_heads: 16

train:
  batch_size: 32
  learning_rate: 5e-5
  epochs: 10
  device: "cuda"

• model: 模型配置，包括模型名称、骨干网络、类别数量、隐藏层大小、dropout 概率、注意力头数量等。
• train: 训练配置，包括批量大小、学习率、训练轮数、训练设备等。

可以根据需要修改配置文件中的参数，以达到不同的训练效果。

UI-R1 项目地址: https://gitcode.com/gh_mirrors/ui/UI-R1