ConRFT项目启动与配置教程

ConRFT项目启动与配置教程

1. 项目的目录结构及介绍

ConRFT项目是一个用于强化细调VLA模型的开源项目。以下是项目的目录结构及其介绍：

• docs/: 存放项目文档的文件夹。
• examples/: 包含用于策略训练、演示数据收集和奖励分类器训练的脚本。
• serl_launcher/: 主代码，用于代理训练。
  • agents/: 包含各种代理策略（例如SAC、BC）的子模块。
  • wrappers/: Gym环境包装器。
  • data/: 重放缓冲区和数据存储。
  • vision/: 与视觉相关的模型和工具。
• serl_robot_infra/: 机器人基础架构，用于与真实机器人配合运行。
  • robot_servers/: 用于向机器人发送命令的Flask服务器，通过ROS实现。
  • franka_env/: Franka机器人的Gym环境。

2. 项目的启动文件介绍

项目的启动主要是通过serl_launcher目录中的主程序实现的。以下是启动文件的基本介绍：

• serl_launcher/main.py: 主启动文件，负责初始化训练环境、加载配置文件和启动训练过程。

3. 项目的配置文件介绍

项目的配置文件主要位于serl_launcher目录下，以下是配置文件的基本介绍：

• config.py: 配置文件，包含项目的所有参数设置，如环境配置、模型参数、训练参数等。用户可以根据自己的需求修改这些参数以调整项目的行为。

如何启动项目

1. 克隆项目到本地：

   git clone git@github.com:cccedric/conrft.git
   

2. 设置Conda环境：

   conda create -n conrft python=3.10
   

3. 安装依赖：

   pip install --upgrade jax[cpu]  # 如果使用CPU
   pip install --upgrade jax[cuda11_pip]==0.4.20 -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html  # 如果使用GPU
   

   安装Octo：

   git clone git@github.com:cccedric/octo.git
   cd octo
   pip install -e .
   pip install -r requirements.txt
   

   安装serl_launcher：

   cd serl_launcher
   pip install -e .
   pip install -r requirements.txt
   

   根据serl_robot_infra目录中的README文件进行安装和设置。

4. 运行主程序：

   python serl_launcher/main.py
   

确保在运行之前已经正确配置了所有必要的参数和环境。