X-R1：3090也能训7B模型！开源框架X-R1把训练成本打下来了：10美元训出企业级LLM

最新推荐文章于 2025-03-31 08:00:00 发布

原创最新推荐文章于 2025-03-31 08:00:00 发布 · 773 阅读

21 ·

CC 4.0 BY-SA版权

文章标签：

#AGI #AI大模型 #人工智能 #干货分享 #模型训练 #强化学习 #计算机

💥 “实验室算力荒漠有救了！开源框架X-R1逆袭：4块显卡1小时训出7B模型，成本只需5杯奶茶”

当大厂用千卡集群烧钱时，我们找到了破局关键——

👉 博士生为跑实验深夜偷用服务器被导师抓包
👉 创业公司看着天价云账单放弃模型微调
👉 技术博客教程永远以「假设你有A100集群」开头…

今天要介绍的 X-R1框架，正在用强化学习重构训练规则！这个由华人团队研发的开源工具，首次让3090显卡集群实现7B模型高效训练，1小时成本仅需9.9美元。已有Early adopters用它完成：

✅ 32B模型在64G显存环境分布式训练
✅ 企业级对话模型微调成本降低87%
✅ 单卡实现R1-Zero算法的在线采样优化

是时候打破算力垄断了——你的显卡准备好了吗？

X-R1 是什么

在这里插入图片描述

X-R1 是一个基于强化学习的低成本训练框架，专为加速大规模语言模型的后训练（Scaling Post-Training）而设计。它能够在极低的成本下，使用常见的硬件配置（如4块3090或4090 GPU），在1小时内完成0.5B规模的R1-Zero模型训练，成本低于10美元。

此外，X-R1 支持更大规模的模型（如1.5B、7B、32B等），并提供不同大小的数据集以实现快速训练循环。

X-R1 的主要功能

低成本训练：仅需4块3090/4090 GPU，1小时内完成训练，成本低于10美元。
模型规模支持：支持0.5B、1.5B、7B、32B等不同规模的模型。
数据集：提供0.75k、1.5k、7.5k等不同规模的数据集，用于快速训练循环。
日志记录：记录GRPO在线采样数据到日志文件。
扩展性与灵活性：提供详细的配置文件和训练脚本，方便用户根据需求进行定制。

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》，包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴，可以VＸ扫描下方二维码免费领取🆓

X-R1 的技术原理

强化学习（Reinforcement Learning, RL）：X-R1 用强化学习优化模型的训练过程。基于定义奖励函数，模型在训练过程中根据奖励信号调整参数，最大化累积奖励。采用GRPO（Gradient-based Reinforcement Policy Optimization）技术进行在线采样，提升训练效率和模型性能。
分布式训练：X-R1 支持分布式训练，利用多GPU并行计算加速训练过程。基于配置文件（如Zero3.yaml），用户可以灵活设置训练环境，实现高效的并行训练。采用DeepSpeed等分布式训练框架，优化内存使用和计算效率。
低成本硬件配置：X-R1 专注于用常见的硬件配置（如4块3090或4090 GPU）进行训练，降低硬件成本。
日志监控：集成Wandb等工具，实现训练过程的可视化监控，帮助用户实时了解训练状态。

如何运行 X-R1

1. 安装依赖

确保你的环境中安装了 CUDA >= 12.4，并创建一个新的 Conda 环境：

conda create -n xr1 python=3.11
conda activate xr1
pip install -r requirements.txt
pip install flash-attn

2. 创建输出目录

mkdir output

3. 配置与训练

3.1 0.5B 模型

对于 0.5B 模型，假设你有 4 块 NVIDIA 3090 GPU。你可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/X_R1_zero_0dot5B_config_peft.yaml \
> ./output/x_r1_0dot5B_sampling.log 2>&1

--num_processes=3：表示使用 3 个进程进行训练，其中 1 个 GPU 用于在线推理引擎（vLLM），以加快 GRPO 采样。
--config recipes/X_R1_zero_0dot5B_config_peft.yaml：指定配置文件，用于 0.5B 模型的训练。

3.2 1.5B 模型

对于 1.5B 模型，配置类似，但需要调整一些参数。假设你有 4 块 NVIDIA 3090 GPU，可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/X_R1_zero_1dot5B_config.yaml \
> ./output/x_r1_1dot5B_sampling.log 2>&1

3.3 3B 模型

对于 3B 模型，训练时间会更长，大约需要 16 小时。你可以使用以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/X_R1_zero_3B_config.yaml \
> ./output/x_r1_3B_sampling.log 2>&1

4. 示例：中文数学推理

X-R1 支持中文数学问题的推理，可以通过以下命令启动训练：

ACCELERATE_LOG_LEVEL=info \
accelerate launch \
--config_file recipes/zero3.yaml \
--num_processes=3 \
src/x_r1/grpo.py \
--config recipes/examples/mathcn_zero_3B_config.yaml \
> ./output/mathcn_3B_sampling.log 2>&1

该配置文件专门用于中文数学问题的训练，使用 4 块 NVIDIA 3090 GPU，大约需要 16 小时完成 3B 模型的训练。

5. 训练结果与日志

5.1 训练日志

0.5B 模型日志 - Google Drive：https://drive.google.com/file/d/1m-w0B2L9o-bwGDgaOtWFLR0C0MAEBTFQ/view?usp=sharing
1.5B 模型日志 - Google Drive：https://drive.google.com/file/d/11tBShY206Pu_SxWE0M-mG2_Cdf9mFNig/view?usp=sharing
3B 模型日志 - Google Drive：https://drive.google.com/file/d/1t4WzsK0aMrULYKjKsKH29LsWQMeTDjTb/view?usp=sharing