OpenR项目安装与配置指南

OpenR项目安装与配置指南

openr OpenR: An Open Source Framework for Advanced Reasoning with Large Language Models 项目地址: https://gitcode.com/gh_mirrors/ope/openr

1. 项目基础介绍

OpenR是一个开源框架，旨在利用大型语言模型进行高级推理。该项目使用Python编程语言，通过结合深度学习技术和强化学习策略，提升语言模型在数学等领域的推理能力。

2. 项目使用的关键技术和框架

• OmegaPRM：自动过程监督以改进语言模型在数学推理上的性能。
• RL Training：使用APPO、GRPO、TPPO等算法进行在线策略训练。
• PRM Training：监督训练过程奖励模型（PRM）。
• Generative RM Training：直接生成奖励模型（GenRM）训练。
• 搜索策略：包括贪心搜索、Best-of-N、束搜索、蒙特卡洛树搜索（MCTS）、rStar等。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统中已经安装了以下依赖：

• Python 3.10
• pip
• conda（推荐）

安装步骤

1. 创建虚拟环境并激活

   conda create -n open_reasoner python=3.10
   conda activate open_reasoner
   

2. 安装项目所需的Python包

   pip install -r requirements.txt
   pip3 install "fschat[model_worker,webui]"
   pip install -U pydantic
   

3. 安装LaTeX到Sympy环境

   cd envs/MATH/latex2sympy
   pip install -e .
   cd -
   

4. 下载基础模型

   在运行项目之前，确保下载了所有需要的基础模型，例如Qwen2.5-Math-1.5B-Instruct、Qwen2.5-Math-7B-Instruct等。具体下载方法请参考Hugging Face模型下载教程。

5. 设置环境变量

   在reason/llm_service/目录下的脚本中，设置以下变量以匹配你的模型：

   export MODEL_BASE="/path/to/your/models"
   export POLICY_MODEL_NAME="your_policy_model"
   export VALUE_MODEL_NAME="your_value_model"
   export NUM_LM_WORKER="number_of_lm_workers"
   export NUM_RM_WORKER="number_of_rm_workers"
   

6. 启动LM和RM服务

   例如，为了启动Math Shepherd模型的LM和RM服务，运行以下命令：

   sh reason/llm_service/create_service_math_shepherd.sh
   

   要终止服务进程，推荐使用以下命令：

   tmux kill-session -t {Your Session Name}
   

以上步骤为OpenR项目的安装和基本配置指南。请根据实际情况调整路径和参数。在安装过程中遇到任何问题，请查阅项目文档或向社区寻求帮助。

openr OpenR: An Open Source Framework for Advanced Reasoning with Large Language Models 项目地址: https://gitcode.com/gh_mirrors/ope/openr