RAGEN项目安装与配置指南

RAGEN项目安装与配置指南

RAGEN RAGEN is the first open-source reproduction of DeepSeek-R1 for training agentic models via reinforcement learning. 项目地址: https://gitcode.com/gh_mirrors/ra/RAGEN

1. 项目基础介绍

RAGEN是一个利用强化学习来训练大型语言模型（LLM）推理代理的开源项目。该项目旨在通过交互式、随机环境中的学习，提升LLM的推理能力。RAGEN使用Python编程语言实现。

2. 项目使用的关键技术和框架

• 强化学习（Reinforcement Learning, RL）：一种机器学习方法，让模型通过与环境的交互来学习最优策略。
• 大型语言模型（Large Language Models, LLM）：预训练的语言模型，可以理解和生成人类语言。
• Markov Decision Process (MDP)：用于描述智能体与环境的交互，其中状态和动作是令牌序列。
• Reason-Interaction Chain Optimization (RICO)：一种优化算法，用于在整个轨迹上联合优化推理和动作策略。

3. 项目安装和配置的准备工作

在开始安装RAGEN之前，请确保您的系统中已安装以下依赖：

• Python 3.6或更高版本
• pip（Python的包管理工具）
• Git（版本控制系统）

详细安装步骤

步骤 1：克隆项目仓库

打开命令行工具，执行以下命令来克隆项目仓库：

git clone https://github.com/ZihanWang314/RAGEN.git
cd RAGEN

步骤 2：安装依赖

在项目目录中，使用pip安装所需的Python包：

pip install -r requirements.txt

步骤 3：设置环境

根据项目文档，设置环境，以下是一个基本的环境设置示例：

bash scripts/setup_ragen.sh
python scripts/download_data.py

如果自动设置失败，可以按照scripts/setup_ragen.md中的手动设置说明操作。

步骤 4：创建数据

项目提供了两个任务（Sokoban和FrozenLake）的初始观察数据。以下是创建基本数据的命令：

bash scripts/create_data.sh

如果需要更全面的数据，可以使用以下命令：

bash scripts/create_data_full.sh

步骤 5：开始训练

项目提供了默认的配置文件在verl/trainer/config/ppo_trainer.yaml。以下是一个训练模型的示例：

bash train.sh sokoban model.experiment_name=new_test

如果需要覆盖配置参数，可以在命令中添加相应的参数。

步骤 6：可选的监督微调

如果需要进行监督微调，可以按照以下步骤操作：

• 创建监督微调数据：

bash sft/generate_data.sh <env_type>

• 微调模型：

bash sft/finetune_lora.sh <env_type> <num_gpus> <save_path>

• 合并LoRA权重到基础模型：

python sft/utils/merge_lora.py --base_model_name <base_model_name> --lora_model_path <lora_model_path> --output_path <output_path>

以上步骤为您提供了RAGEN项目的详细安装和配置指南。按照这些步骤操作后，您应该能够成功运行该项目。

RAGEN RAGEN is the first open-source reproduction of DeepSeek-R1 for training agentic models via reinforcement learning. 项目地址: https://gitcode.com/gh_mirrors/ra/RAGEN