基于Huggingface TRL库使用GRPO复现DeepSeek-R1推理模型

最新推荐文章于 2025-07-10 11:07:47 发布
原创 最新推荐文章于 2025-07-10 11:07:47 发布 · 253 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #人工智能

【学习目标】

  • 掌握推理模型数据集的结构及转换。
  • 掌握强化学习GRPO算法以及GRPOTrainer的应用；
  • 掌握推理模型的训练流程。

【任务描述】

2025年1月，杭州深度求索公司（DeepSeek）发布了推理模型DeepSeek-R1，让推理模型的关注度快速的飙升，学术圈也掀起一股复现DeepSeek-R1的浪潮。李飞飞等斯坦福大学和华盛顿大学的研究人员以不到50美元的云计算费用，成功训练出了一个名为s1的人工智能推理模型。该模型在数学和编码能力测试中的表现，据称与OpenAI-o1和DeepSeek-R1等尖端推理模型不相上下。当然DeepSeek-R1的火热还是有其本质原因的：比如创新的强化学习GRPO、MoE/MLA/MTP、高性能低成本、开源等。

本任务要求在低成本条件下，基于Qwen基座模型，使用OpenAI的GSM8K数据集（一个包含8,500道左右高质量的小学数学题），使用强化学习GRPO复现类似DeepSeek-R1的推理模型。最终模型推理类似下图右侧部分所示：

使用Huggingface TRL库基于GRPO复现DeepSeek-R1推理模型

详解trl中的GRPOTrainer和GRPOConfig
xiezhipu的博客
04-20 380
GRPO是一种基于组内相对优势比较分组采样：对同一提示（prompt）生成多条回答（completions）形成组（group）。奖励归一化：计算组内回答的归一化奖励，避免依赖显式价值函数（Critic Model）。KL正则化：引入KL散度惩罚项，防止策略模型（Policy Model）过度偏离参考模型（Reference Model）。
单卡4090通过GRPO训练QWen2.5基础模型复现Deepseek-R1关键思路
强化学习曾小健
02-21 620
原创 疑似地上霜2025年02月18日 22:01浙江本文在4090卡上复现如下 blog提到的训练过程，这个过程体现了的关键RL思路：原文：Train your own R1 reasoning model with Unsloth (GRPO):https://unsloth.ai/blog/r1-reasoning。
基于trl复现DeepSeek-R1的GRPO训练过程
ybdesire的专栏
03-01 3688
本文讲解了借助trl对Qwen2.5-0.5B-Instruct做GRPO的强化学习训练（DeepSeek）的过程，包括数据、数据处理、reward函数定义、训练前后的模型输出差异。
使用TRL库实现GRPO强化学习算法详解
gitblog_00119的博客
06-19 548
使用TRL库实现GRPO强化学习算法详解 前言 在自然语言处理领域，强化学习(RL)已成为优化语言模型生成质量的重要方法。本文将深入讲解如何在TRL(Transformer Reinforcement Learning)库中实现Group Relative Policy Optimization(GRPO)算法，这是一种基于分组的相对策略优化方法。 GRPO算法核心概念 GRPO是一种创新的强化学...
TRL里面GRPOTrainer中grpo_train.py文件详解
阿正的梦工坊
02-22 2818
GRPOTrainer
使用 TRL 中的 GRPO 进行 LLM 推理的后训练
最新发布
专注学习，坚持分享
07-10 1044
本文介绍了使用群体相对策略优化(GRPO)对大型语言模型进行后训练的方法。GRPO是一种强化学习技术，特别适用于解决需要扩展推理的复杂任务如数学问题。文章详细展示了从安装依赖、加载数据集到模型训练的全过程，使用Qwen2-0.5B-Instruct作为基线模型，并配置LoRA进行高效微调。通过定义格式奖励和准确性奖励函数，指导模型生成带有<think>和<answer>标签的结构化推理过程。实验结果表明，该方法能有效提升模型的推理能力，尽管受限于模型规模和训练数据量，但展现了良好的应
研读trl/grpo_trainer.py深度理解GRPO思想
AI人工智能的学习之路
02-14 2573
........该采样器的作用是将数据集的索引重复次，以保证每个提示能在多个进程中重复出现，从而确保相同的提示被分配到不同的 GPU 上，进而正确计算和归一化每个提示组内的奖励。类继承自，用于实现 GRPO 训练方法。此方法源自论文。..."""GRPOConfig类是为设计的配置类，用于管理与 GRPO 训练相关的各种参数。它继承自，这意味着它可以使用库中训练参数的基本配置，并在此基础上扩展特定于 GRPO 训练的参数。
trl-强化学习训练-grpo训练为例
weixin_40777649的博客
02-16 2308
1.trl + lora+ transformers 训练模型2.部署与预测3.模型合并4.vllm 部署4. 代码讲解5. trl 训练器参数讲解。
DeepSeek-R1复现方案梳理
yanqianglifei的专栏
02-12 1492
在 100 步时，解方程的成功率约为 25%，并且模型开始用文字进行 “推理”;近日，来自UC伯克利的研究团队基于Deepseek-R1-Distilled-Qwen-1.5B，通过简单的强化学习（RL）微调，得到了全新的DeepScaleR-1.5B-Preview。由huggingface组建，目前刚上线2周，发布了最新进展open-r1/update-1，在MATH-500任务上接近deepseek的指标，可以在open-r1/open-r1-eval-leaderboard查看指标的排行榜。
一个demo来手把手复现DeepSeek R1
爱吃火锅的博客
02-10 1436
关于其技术报告，笔者之前已经简单介绍过一次，感兴趣的小伙伴可以穿梭或者可以随便搜索其他博主的解读查漏补缺，现在网上已经有很多很好的解读了，总之多看看，会有不同的理解。之前是理论学习，今天我们就实际动手来训练一下，具体来说我们只关注最吸引人的一块：强化学习。关于目前市面上的公开复现也已经有很多了，比如：笔者本次基于的是huggface的open-r1，其底层用的是trl库，不过open-r1官方的复现demo是MATH-lighteval，其中很多人没有复现出来。
手把手复现DeepSeek R1训练全流程：从零打造数学推理大模型
Conan_0728的博客
05-08 708
"代码的尽头没有奇迹，只有量变到质变的积累。" —— 通过本指南的系统学习，您已掌握构建专业级推理大模型的核心方法论。现在就在Colab上创建您的第一个训练任务，开启AI大师之旅吧！：使用torch.cuda内存分析工具。：在现有解题步骤间插入合理中间步骤。：故意插入常见错误步骤并标注修正。：合并多个请求提升GPU利用率。：使用同义词替换保持语义不变。Hugging Face课程。：对常见问题建立答案缓存库。：检查学习率设置和梯度裁剪。：调整奖励函数权重比例。
DeepSeek R1复现
hang on it more longer
02-06 1173
UC伯克利博士生潘家怡和另两位研究人员在CountDown游戏中复现了DeepSeek R1-Zero，项目名为TinyZero。：通过强化学习（RL），验证了3B的基础语言模型能够自我验证和搜索，且成本不到30美金。，从而能够获得更高的分数。此外，还发现额外的指令微调（SFT）并非是必要的。
DeepSeek用的GRPO占用大量内存？有人给出了些破解方法
weixin_40920183的博客
02-08 244
来源：机器之心RTX 3080 移动版能训练哪种大模型？本文为那些 GPU 资源有限时使用 GRPO 训练的开发者提供了宝贵的指导。自 DeepSeek-R1 发布以来，群组相对策略优化（GRPO）因其有效性和易于训练而成为大型语言模型强化学习的热门话题。R1 论文展示了如何使用 GRPO 从遵循 LLM（DeepSeek-v3）的基本指令转变为推理模型（DeepSeek-R1）。GRPO 是一种...
deepseek GRPO算法保姆级讲解(数学原理+源码解析+案例实战)
spatial_coder的博客
03-16 5122
GRPO（Groupwise relative policy optimization）群组相对策略优化是deepseek提出的一种RLHF(基于人类反馈的强化学习)技术。首次提出是在DeepSeekMath中，RL被证明在SFT阶段后能有效提升LLM的数学推理能力。在GRPO提出之前，有两种流行的RLHF技术被广泛用于大模型的对齐过程中，分别是PPO和DPO。
一文通透GRPO——通俗理解群体相对策略优化GRPO及其代码实现：去掉价值估计，不用像PPO中复杂的GAE计算
热门推荐
结构之法 算法之道
03-12 1万+
本文的标题 最开始是《七月论文审稿GPT第3.2版和第3.5版：通过paper-review数据集分别微调Mistral、gemma》后于25年1.31日，直接改成了新的内容，标题也就变成了本文的《一文速览DeepSeekMath及GRPO：通俗理解群体相对策略优化GRPO及其代码实现(含DeepSeek-Coder的简介)》至于为何改成如今这样，在这篇文章《一文速览DeepSeekMoE：从Mixtral 8x7B到DeepSeekMoE(含DeepSeek LLM的简介)》的开头有说原因。
实战LLM强化学习——使用GRPO（DeepSeek R1出圈算法）
qq_38961840的博客
01-29 7062
使用Unsloth库、LoRa微调及GRPO Trainer自定义奖励函数实现大模型的强化学习微调，实战案例。
DeepSeek核心强化学习算法：GRPO介绍
kuokay的博客
03-12 1762
GRPO 是一种在线学习算法，这意味着它通过使用训练模型本身在训练期间生成的数据进行迭代改进。GRPO 目标背后的直觉是最大限度地利用生成的完成，同时确保模型始终接近参考策略。GRPO 的发明者是 DeepSeek，最早是被用于微调 DeepSeek 的 R1 和 R1-Zero 模型 —— 它们可通过学习生成思维链（CoT）来更好地解决数学和逻辑问题。
GRPO 与 TRL实现的GRPOTrainer中_prepare_inputs函数详解
阿正的梦工坊
02-22 1459
_prepare_inputs 方法可以看作 GRPO 的“数据预处理与采样”的核心：对一批 prompt 编码并生成多条回答；做 EOS 截断与 mask；用参考模型计算 KL 需要的对数概率；用奖励模型（或自定义打分）评估回答质量；以组为单位做相对奖励归一化，得到 advantage。
使用unsloth微调deepseek-r1-8B模型，给出完整代码
02-23
好的，用户想要使用unsloth来微调deepseek-r1-8B模型，并希望得到完整的代码。首先，我需要确认unsloth是否支持这个模型。unsloth主要用于优化微调过程，比如减少内存占用和加快训练速度，通常与Hugging Face的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

智驭导师授AI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值