Open-R1 项目安装与配置指南

Open-R1 项目安装与配置指南

open-r1 Fully open reproduction of DeepSeek-R1 项目地址: https://gitcode.com/gh_mirrors/open/open-r1

1. 项目基础介绍

Open-R1 是一个开源项目，旨在构建 R1 管道的缺失部分，使得用户能够重现和在此基础上进行构建。该项目主要使用 Python 编程语言。

2. 项目使用的关键技术和框架

• PyTorch: 一个流行的开源机器学习库，用于应用如深度学习。
• vLLM: 用于训练大型语言模型的一个库。
• FlashAttention: 用于加速注意力机制的计算。
• Hugging Face Hub: 用于模型和数据的存储、分享。
• Weights and Biases: 用于实验跟踪和结果可视化的工具。

3. 项目安装和配置的准备工作与详细步骤

准备工作

• 确保你的系统安装了 Python 3.11。
• 安装 CUDA 12.4，以确保兼容性。
• 安装 Git LFS，用于处理大文件。

安装步骤

步骤 1: 创建 Python 虚拟环境

python3.11 -m venv openr1
source openr1/bin/activate

步骤 2: 安装依赖

pip install --upgrade pip
pip install vllm==0.7.2 setuptools
pip install flash-attn --no-build-isolation

此步骤会安装 PyTorch v2.5.1，请确保使用此版本。

步骤 3: 安装项目依赖

GIT_LFS_SKIP_SMUDGE=1 pip install -e .[dev]

步骤 4: 登录 Hugging Face 和 Weights and Biases

huggingface-cli login
wandb login

步骤 5: 验证 Git LFS

git-lfs --version

如果未安装，请使用以下命令安装：

sudo apt-get install git-lfs

以上步骤完成后，你就可以开始使用 Open-R1 项目了。根据项目需求，你可以通过提供的 Makefile 或者命令行指令来训练和评估模型。

open-r1 Fully open reproduction of DeepSeek-R1 项目地址: https://gitcode.com/gh_mirrors/open/open-r1