rStar项目安装与配置指南

rStar项目安装与配置指南

rStar 项目地址: https://gitcode.com/gh_mirrors/rst/rStar

1. 项目基础介绍

rStar是一个开源项目，旨在通过自我玩耍的互推 reasoning 方法（Self-play Mutual Reasoning）来显著提升小型语言模型（Small Language Models, SLMs）的推理能力。该技术无需微调或使用更高级的模型，即可增强SLMs的推理能力。项目包含生成器（Generator）和鉴别器（Discriminator）两个模块，用于共同验证推理轨迹的正确性。

主要编程语言：Python

2. 项目使用的关键技术和框架

• Monte Carlo Tree Search (MCTS)：一种用于决策过程的启发式搜索算法，用于增强推理轨迹的质量。
• 互推验证：通过另一个能力相当的语言模型作为鉴别器，来共同验证生成器产生的推理轨迹。
• PyTorch：用于构建和训练深度学习模型的库。
• Transformers：由Hugging Face提供，用于自然语言处理任务的库。

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统已安装以下依赖：

• Python 3.10
• CUDA 12
• 最新版本的PyTorch
• 最新版本的Transformers
• 最新版本的vllm

详细安装步骤

1. 克隆项目仓库

   打开终端，执行以下命令来克隆仓库：

   git clone https://github.com/zhentingqi/rStar.git
   cd rStar
   

2. 安装依赖

   在项目根目录下，使用pip安装项目所需的Python依赖：

   pip install -r requirements.txt
   

3. 运行生成器

   执行以下命令以运行生成器：

   bash scripts/run_gsm8k_generator.sh
   

   你可以根据需要配置脚本中的参数，如数据集名称、模型检查点路径等。

4. 评估生成器结果

   使用以下命令来评估生成器的输出结果：

   python eval_src/do_eval.py --dataset_name GSM8K --exp_dir_path <generator_output_folder>
   

   替换 <generator_output_folder> 为生成器输出文件夹的实际路径。

5. 运行鉴别器

   同样地，执行以下命令以运行鉴别器：

   bash scripts/run_gsm8k_discriminator.sh
   

   配置脚本中的参数，如模型检查点路径、评估结果文件夹路径等。

按照上述步骤操作后，您应该能够成功安装并运行rStar项目。如果有任何问题，请查阅项目的README文件或相关文档以获得更多帮助。

rStar 项目地址: https://gitcode.com/gh_mirrors/rst/rStar