DeepSeek关键RL算法GRPO，有人从头跑通了，贡献完整代码

最新推荐文章于 2025-07-14 12:06:11 发布
最新推荐文章于 2025-07-14 12:06:11 发布
阅读量1.4k 收藏 15
点赞数 29
CC 4.0 BY-SA版权
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/AIBigModel/article/details/145993867

来源 | 机器之心

GRPO（Group Relative Policy Optimization）是 DeepSeek-R1 成功的基础技术之一，我们之前也多次报道过该技术，比如《DeepSeek 用的 GRPO 占用大量内存？有人给出了些破解方法》。

简单来说，GRPO 算法丢弃了 critic model，放弃了价值函数近似，转而通过组内样本的相对比较来计算策略梯度，从而有效降低了训练的不稳定性，同时提高了学习效率。

既然 GRPO 如此有效，那么，你知道如何从头开始实现 GRPO 吗？

近日，AI 工程师和技术作家 Andriy Burkov 发布了一份「从头开始写 GRPO 代码」的教程，其中介绍了如何基于 Qwen2.5-1.5B-Instruct 模型构建一个使用 GRPO 的分布式强化学习流程。

不过，在我们深入这份教程之前，先简单介绍一下它的作者。Andriy Burkov 算得上是 AI 领域的一位著名科普作家，在加拿大拉瓦尔大学取得了计算机科学博士学位，还曾发表过两本颇受欢迎的 AI 主题著作：《100 页语言模型书》和《100 页机器学习书》；书中一步步详实地介绍了相关概念，并附带了简明的实现代码。

image.png

接下来我们就来看看这份 GRPO 从头实现教程吧。

image.png

教程地址：https://github.com/aburkov/theLMbook/blob/main/GRPO_From_Scratch_Multi_GPU_DataParallel_Qwen_2_5_1_5B_Instruct.ipynb

从头编写 GRPO 代码

使用 Qwen2.5-1.5B-Instruct 的分布式实现

本教程将展示如何使用 GRPO 方法构建分布式强化学习（RL）流程，从而可以针对数学、逻辑和编程任务对语言模型进行微调。

首先需要明确，这些任务都存在一个唯一且正确的 ground truth 答案，可通过简单的字符串比较轻松加以验证。

GRPO 的发明者是 DeepSeek，最早是被用于微调 DeepSeek 的 R1 和 R1-Zero 模型 —— 它们可通过学习生成思维链（CoT）来更好地解决数学和逻辑问题。

本教程的目标是将通用语言模型 Qwen2.5-1.5B-Instruct 转换为数学问题求解器。我们将从头开始编写 GRPO 代码，然后将其与几个流行的库和工具集成起来，以实现分布式训练管道流程，包括：

  • PyTorch：用于张量运算和分布式训练。

  • Hugging Face Transformers：用于加载预训练的语言模型和 tokenizer。

  • FlashAttention2：优化的注意力机制，有助于减少内存使用量并提高训练速度。

  • Weights & Biases (wandb)：用于实验跟踪、可视化和模型版本控制。

本教程分为几个部分。首先是基本设置和导入，然后是数据格式化和答案提取、数据集准备、评估函数、奖励函数、训练设置和执行，最后加载和测试模型。此过程中，我们将从头实现 GRPO 算法。

Part 1：基础设置和导入

首先是安装并导入所有必要的模块。下面是导入库的一段代码截图。

image.png

部分代码截图。完整代码块参见 GitHub。

运行上述代码（参考项目完整代码），可以执行以下任务：

  • 设置随机种子：set_random_seed 函数通过为 Python 的随机模块、NumPy 和 PyTorch 设置种子，确保可复现性；

  • 环境变量配置：设置 WANDB_API_KEY 和 WANDB_PROJECT 环境变量，以启用与 Weights & Biases 的实验跟踪；

  • 导入必要的库，包括 random、copy、re、torch 等等。

Part 2：数据格式以及答案提取

接下来，项目定义了数据格式，以及模型如何从输出和数据集中提取答案段落。

为了确保模型输出格式一致，项目还定义了一个系统提示。该提示指示模型生成包含 < reasoning > 和 < answer > 标签的输出。这一步通过两个函数完成：

  • extract_answer_from_model_output：此函数获取模型的输出文本，并提取 < answer > 标签内的内容；

  • extract_answer_from_dataset：此函数从 GSM8K 数据集中提取预期答案，该数据集使用 “####” 分隔符来分隔答案：

image.png

部分代码截图。完整代码块参见 GitHub。

Part 3：数据准备

该项目使用 GSM8K 数据集进行训练。项目使用了该数据集中的示例来训练模型，基于强化学习（RL）训练范式，让模型生成多个问题解答样本，之后作者将这些解答与 GSM8K 示例中的标准答案进行对比，如果匹配，就为 RL 算法（GRPO）提供高奖励，然后更新模型权重，以增加模型下次获得高奖励的可能性。

实验过程是这样的。首先从 Hugging Face 加载数据集，然后格式化每个示例，包括系统提示和用户提示。这段实现代码中还定义了两个辅助函数：prepare_dataset 以及 build_prompt。

image.png

部分代码截图。完整代码块参见 GitHub。

Part 4：评估函数

评估对于跟踪模型的进展至关重要。因此作者定义了一些函数，从而可以在一组示例上对模型进行评估。该项目的评估函数执行以下任务：

  • token 化提示并生成响应：模型的输出是在 token 化提示的基础上生成的。

  • 提取预测答案：从生成的响应中提取答案。

  • 将预测答案与预期答案进行比较：这种比较是通过精确匹配以及数值等价检查来完成的。

在这段代码中，两个辅助函数 _extract_last_number 和 _extract_single_number 被用来从文本中提取数字。评估函数 evaluate_model 使用这些辅助函数来确定预测答案是否正确：

image.png

部分代码截图。完整代码块参见 GitHub。

Part 5：奖励函数

在强化学习中，奖励函数是必不可缺的，作者定义了两个奖励函数：

correctness_reward：这个函数根据生成的答案是否正确来分配奖励。采用两种方式：精确的字符串匹配和数值等价检查，将模型输出的答案与预期答案进行比较。完全匹配会获得更高的奖励（2.0），而基于数值等价的匹配会获得较小的奖励（1.5）。

format_reward：这个函数鼓励模型遵循所需的类似 XML 的输出格式。它为生成文本中存在 < reasoning>、</reasoning>、<answer > 和 </answer > 标签提供小额奖励。

image.png

部分代码截图。完整代码块参见 GitHub。

Part 6：从头开始实现 DataParallel GRPO

这一节，我们将从头实现 GRPO 算法的所有构建模块。首先，这里假设运行代码的机器至少有 2 台 GPU。为此，这里要使用 PyTorch 的 DataParallel API 来将策略模型放在多个 GPU 核心上，每个 GPU 核心都有该模型的一个副本。然后将批量数据分散在这些 GPU 核心上完成处理。

image.png

部分代码截图。完整代码块参见 GitHub。

Part 7：训练设置和执行

这一节，我们将所有组件组合在一起，完成设置并开始训练。

首先，加载预训练的模型和 tokenizer，准备评估数据，然后使用上面从头实现的 train_with_grpo 进行强化学习微调。

关键步骤包括：

  • 模型和 tokenizer 初始化：使用优化设置（使用 torch.bfloat16 和 FlashAttention2）加载模型 Qwen/Qwen2.5-1.5B-Instruct。tokenizer 也要加载，其填充 token 设置为序列末尾 token。使用 torch.bfloat16 加载模型会将其参数转换为每个数值使用 16 位而不是 32 位的形式，这可将模型的内存使用量减少一半，并且可加快在现代 GPU 上的训练速度。

  • 初步评估：在微调之前，根据几个示例对模型进行评估，以确定基准性能。

  • 强化学习微调：为从头开始实现 GRPO 的训练函数 train_with_grpo 配置适当的训练参数和奖励函数。然后，在剩余的训练数据上执行强化学习训练。

  • 最终评估和模型保存：强化学习微调后，再次评估模型，并保存最终模型。

下面的代码会执行以下功能：

  • 确定设备（如果有 GPU 就用 GPU，否则就用 CPU）。

  • 加载预训练版 Qwen2.5-1.5B-Instruct 模型和 tokenizer。tokenizer 的 pad token 设置为 eos_token。

  • 保留一小部分数据集用于评估，以提供基线。

  • 通过启用梯度检查点和禁用 KV 缓存，优化模型的内存效率。

  • 步骤 1：在微调之前评估模型，以建立基线准确性。

  • 步骤 2：使用 train_with_grpo 函数和我们定义的奖励函数（format_reward 和 correctness_reward，合并为 combined_reward）执行强化学习微调。这里使用了多台 GPU 训练模型。

  • 步骤 3：将最终的微调模型和 tokenizer 保存到磁盘。

GRPO 训练流程使用的超参数如下。

训练配置

以下参数设定了使用上面的 GRPO 算法实现强化学习微调运行的配置：

  • num_iterations=1：从当前策略模型创建新参考模型的外部迭代次数。一次迭代是指在整个数据集上执行一次通过。

  • num_steps=500：训练循环将执行最多 500 个步骤，每个步骤处理一批样本。

  • batch_size=7：在 8 台 GPU 的情况下，每个步骤每批处理 7 个样本，每台 GPU 上放置 1 个样本。使用一个 GPU (0) 被 DataParallel 用作主节点来聚合梯度并收集输出。

  • num_generations=14：对于训练数据中的每个提示词，训练器将生成 14 个不同的完成结果。这些生成结果将被用于计算指导强化学习更新的相对优势（或奖励信号）。如果你的 GPU 的 VRAM 较少，请减少此数字。

  • max_completion_length=400：在生成完成结果（序列的 response 部分）时，生成上限为 400 个 token。这限制了模型在 RL 阶段生成的输出的长度。如果你的 GPU 的 VRAM 较少，请减少此数字。

  • beta=0.04：GRPO 损失函数中 KL 散度惩罚的系数。这控制的是模型与参考模型的偏差程度。

  • learning_rate=5e-6：RL 微调的学习率。为了实现稳定的策略更新，这里使用了相对较低的学习率。

  • mu=1：对每批 rollout 数据执行的策略更新次数。在这里，我们每批只执行一次更新。

  • epsilon=0.1：GRPO 的 PPO 组件的 clipping 参数。这可以防止策略在单次更新中发生太大的变化。

在微调之前和之后都会对模型进行评估，以衡量准确率的提高情况。最后，将微调后的模型保存到 grpo_finetuned_model 目录中。

image.png

部分代码截图。完整代码块参见 GitHub。

教程中还给出了详细的执行情况，可作参考。

image.png

下面我们也简单看看其训练过程。

首先，初始配置后，我们可以看到运行 GRPO 之前的准确度为 23.33%。

image.png

然后经过 500 步的 1 轮 GRPO 迭代，下图展示了相关的训练动态：

image.png

训练完成后，自然还需要对模型进行新一轮的评估。这里采用了 30 个评估样本来进行评估，以下展示了其中一个模型回答正确的示例：

sp_250301_112209.png

整体表现如何呢？可以看到，经过一轮 GRPO 之后，Qwen-2.5-1.5B-Instruct 模型答对了 30 问题中的 27 题，实现了 90% 的准确度。相较于 GRPO 之前的 23.33%，可说是实现了性能飞跃。

image.png

image.png

上面两张图展示了模型的学习过程动态，可以看到：平均奖励在 2.25 左右就趋于稳定了（理论最大值为 0.8 + 2.0 = 2.8）。相比于另一处微调的 Qwen-2.5-0.5B-Instruct（获得的平均奖励为 1.4），这个数字相当高了，参阅：https://github.com/aburkov/theLMbook/blob/main/GRPO_Qwen_0_5_Instruct.ipynb

如果使用更大的模型并允许更长的生成时间，模型正确解答问题的能力还将进一步提升。但是，如果要训练更大的模型，不仅需要将数据分布在多台 GPU 上，还需要将模型分开放在多台 GPU 上，这需要用到 DeepSpeed 或 FSDP（完全分片数据并行）等模型并行工具。

下面加载和测试已经微调的模型：

image.png

完整代码见原笔记本

加载完成后测试一下，首先问问 1+1 等于几：

图片

可以看到，模型反复思考了很多次，终于认定确实等于 2。

多次测试后还可以发现，该模型没有学会生成序列结束（EOS）token，因此即使在 </answer> token 之后，输出序列仍会继续。这是预期的行为，因为我们使用的奖励函数中没有包含一个用于停止生成的奖励。我们也没有执行监督微调步骤 —— 该步骤可以让模型学会在 </answer> 之后立即生成 EOS。

你对这篇代码密集的教程怎么看？有没有让你产生在自己的电脑上实现 GRPO 的想法？

AIBigModel
关注
机器之心 | DeepSeek关键RL算法GRPO，有人从头跑通了，贡献完整代码
csdn_xmj的博客
03-04 1221
GRPO（Group Relative Policy Optimization）是 DeepSeek-R1 成功的基础技术之一，我们之前也多次报道过该技术。简单来说，GRPO 算法丢弃了 critic model，放弃了价值函数近似，转而通过组内样本的相对比较来计算策略梯度，从而有效降低了训练的不稳定性，同时提高了学习效率。
DeepSeek关键RL算法GRPO，有人从头跑通了！贡献完整代码！
阿木寺的博客
03-03 295
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【顶会/顶刊】投稿交流群添加微信号：CVer2233，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！转载：机器之心 ｜作者：Andriy BurkovGRPO（Group Relative Po...
【复现DeepSeek-R1之Open R1实战】系列3：基础知识介绍
https://github.com/Donvink，专注于计算机视觉、目标检测、目标跟踪等方向
02-17 1981
本文先介绍HuggingFace的Open-R1项目，这是一个旨在系统性地重构DeepSeek-R1的数据集及其训练流程、验证paper里的成果，从而推进开源推理模型发展。通过构建Open-R1，阐明强化学习如何提升推理能力的，同时向开源社区分享可复现的项目，为未来基于这些技术开发新模型奠定基础。然后，再介绍一些大模型相关的概念和基础知识，如Tokenizer、SFT和GRPO等，便于大家深入去了解。掌握了这些基础概念和知识之后，我们再深入源码，逐行逐模块去分析，从而达到学会就能用的目的。
周报 | 25.3.3-25.3.9文章汇总
csdn_xmj的博客
03-10 287
为了更好地整理文章和发表接下来的文章，以后每周都汇总一份周报。好的文章值得反复学习！
51c大模型~合集112
whaosoft~aiotの开发板商城
02-13 1537
在 AG2 中，他们设计了一种新颖的搜索算法，可以并行执行多个不同配置的束搜索，并允许它们通过知识共享机制互相帮助，具体可见图 4。他们在 Stable Diffusion，DiT，VAR，LlamaGen，MAR 五个截然不同的视觉架构上进行了验证，一致发现新方法性能与 CFG 相当，而采样成本减半。在图 5 中，他们展示了基于参数量的不同大小的 Gemini 的学习曲线。更快的数据生成可以达成更大规模、更积极的数据过滤，而更快的证明搜索可以实现更广泛的搜索，从而增加给定时间预算内找到解决方案的可能性。
51c大模型~合集80
whaosoft~aiotの开发板商城
11-29 1143
我自己的原文哦~ https://blog.51cto.com/blogger/publish/12675907OpenAI/Claude都受它启发，Ilya出现在致谢名单中什么？Scaling Law最早是百度2017年提的？！Meta研究员翻出经典论文：大多数人可能不知道，Scaling law原始研究来自2017年的百度，而非三年后（2020年）的OpenAI。此研究由吴恩达主持，来自百度硅谷人工智能实验室 (SVAIL) 系统团队。他们探讨了深度学习中训练集大小、计算规模和模型精度之间的关系，并
51c大模型~合集19
whaosoft~aiotの开发板商城
11-09 1265
GALA3D 的整体架构如下图所示：GALA3D 利用大型语言模型（LLMs）生成初始布局，并提出布局引导的生成式 3D 高斯表示构建复杂 3D 场景。GALA3D 设计通过自适应几何控制优化 3D 高斯的形状和分布，以生成具有一致几何、纹理、比例和精确交互的 3D 场景。此外，GALA3D 还提出了一种组合优化机制，结合条件扩散先验和文生图模型，协作生成具有一致风格的 3D 多物体场景，同时迭代优化从 LLMs 提取的初始布局先验，以获得更加逼真准确的真实场景空间布局。
51c大模型~合集98
whaosoft~aiotの开发板商城
12-30 1668
考虑到学术界算力的限制，在未充分训练的 LLM 上进行实验、评测，从而得到一些结论，并试图将这些结论推广为普遍适用，这一现象已经越来越普遍，这也引发了研究人员的担扰，因为在未充分训练的 LLM 上得到的结论并不一定能够普遍适用。从安全性上考虑，谷歌作为世界级独一档的科技巨头，不论发布什么产品，其用户群体都不会小，会涉及到各个种族、不同的意识形态，一点小问题就会被无限放大，而文本生成又是非常主观的，很容易受到训练材料的偏见影响，所以谷歌需要更长的时间进行合规检查。仅用了90天的时间，谷歌终于逆风翻盘。
【算法】贪心算法：最大数C++
qq_74897518的博客
07-14 800
179. 最大数 - 力扣（LeetCode）
代码随想录算法训练营第三十二天|动态规划理论基础、LeetCode 509. 斐波那契数、70. 爬楼梯、746. 使用最小花费爬楼梯
Anastasia_sakura的博客
07-13 351
动态规划 解题模板！解题步骤！ 入门题目详解！
hot100子串（1）
最新发布
Kevincxt的博客
07-14 148
对于一个起始位置为j，终止位置为i的子串，其元素和为pre[i]-pre[j-1].如果pre[i]-pre[j-1]==k，那么这个子串是符合题意的。移项可得：pre[j-1]=pre[i]-k.我们遍历一次nums可以得到每个位置的前缀和，那么不妨在得到pre[i]的同时，看是否存在前缀和为pre[i]-k的子串，如果存在就将答案增加相应的个数.考虑用unordered_map，因为我们要找“是否存在前缀和为pre[i]-k的子串”，所以key为前缀和，value为这样的子串的个数。
算法训练营day15 110.平衡二叉树、257. 二叉树的所有路径、404.左叶子之和、222.完全二叉树的节点个数
m0_65111950的博客
07-11 727
算法训练营DAY15 二叉树系列3！
【PTA数据结构 | C语言版】字符串匹配算法比较
等风来
07-14 245
给定两个由英文字母组成的字符串 string 和 pattern，要求找到 pattern 在 string 中第一次出现的位置，并将此位置后的 string 的子串输出。如果找不到，则输出“Not Found”。本题旨在测试各种不同的匹配算法在各种数据情况下的表现。
Leet code 每日一题
aramae的博客
07-12 807
题目要求在给定正整数数组中找到总和大于等于目标值的最短连续子数组长度。采用滑动窗口算法，初始化左右指针和窗口总和。右指针不断扩展窗口，当窗口总和达到目标值时，记录当前窗口长度并尝试左指针收缩窗口以寻找更小的子数组。若遍历完数组仍未找到满足条件的子数组则返回0。该方法时间复杂度为O(n)，空间复杂度O(1)。示例中对于输入target=7和nums=[2,3,1,2,4,3]，输出2（子数组[4,3]）。
Swift 图论实战：DFS 算法解锁 LeetCode 323 连通分量个数
网罗天下方法，方便你我开发！！！
07-10 697
图是算法中最具挑战性的结构之一，而“连通分量”这个词听起来也有点像社交网络里的“圈子”概念。给你一张无向图，节点编号从 0 到 n-1，现在请你找出这个图中到底有多少个互相连着的群体（连通分量）。 这题其实在很多实际问题里都能找到身影，比如社交图谱分析、网络故障检测、孤岛计算等等。 这篇文章将用 Swift 带你搞懂这题背后的图遍历方法（DFS 和并查集两种思路），并提供完整代码与解释
全连接神经网络
2401_87862479的博客
07-10 1316
前馈神经网络（Feedforward Neural Network，FNN）是一种最基本的神经网络结构，其特点是信息从输入层经过隐藏层单向传递到输出层，说明：三个等式中的w1和w2在这里只是为了方便表示对应x1和x2的权重，实际三个等式中的w值是不同的。，内置了自动的前向传播逻辑，它会自动将输入数据依次传递给其中的每一层，并执行前向传播，不需要显式定义。激活函数的作用是在隐藏层引入非线性，使得神经网络能够学习和表示复杂的函数关系，使网络具备。，其形状为（3，2），3是神经元节点个数，2是向量x的个数。
代码随想录算法训练营第三十四天|62.不同路径 63. 不同路径 II 343. 整数拆分 96.不同的二叉搜索树
qq_46000007的博客
07-13 214
感觉这里已经是二维动态规划了，思路是一样的，五步走，先试试解析的方法更好，直接把第一列和第一行初始化为1，然后就少了很多。
解释一下DeepSeek 自家提出来的 GRPO 算法（Group Relative Policy Optimization）。
02-18
<think>嗯，用户让我介绍一下DeepSeek自家提出的GRPO算法，也就是Group Relative Policy Optimization。首先，我需要确认自己对这个算法是否了解。好像之前没有听说过这个算法，可能它是DeepSeek公司内部研发的新方法，还没有被广泛讨论或者发表。不过，根据名称中的关键词，“Group”和“Relative Policy Optimization”，可以尝试推测它的可能设计思路。 首先，回想一下常见的强化学习算法，比如PPO（Proximal Policy Optimization），它是通过限制策略更新的幅度来确保稳定性，使用Clipping机制。而GRPO可能是在PPO的基础上进行改进，引入了“Group”的概念。这里的“Group”可能指的是将策略或样本分成不同的组，或者是指考虑相对比较的群体。 然后，“Relative Policy Optimization”可能指的是在优化过程中，不仅仅考虑单个动作的优势，而是考虑一组动作之间的相对优势。比如，在传统的策略梯度方法中，我们使用优势函数来评估某个动作相对于平均表现的好坏，而GRPO可能扩展到比较不同组之间的相对表现，从而调整策略。 接下来，我需要考虑用户可能的背景。用户之前询问过PPO中的Clipping机制，现在转向GRPO，可能对强化学习的优化方法有一定了解，希望了解最新的进展或特定公司的创新。用户可能是研究人员、工程师，或者对AI技术有浓厚兴趣的学习者。 用户的需求不仅仅是了解GRPO的表面定义，而是希望深入其核心思想、与现有方法的不同之处，以及可能带来的优势。可能需要解释GRPO的创新点，比如如何分组、如何利用相对比较来提升策略优化的效果，以及实验中的表现如何。 由于GRPO可能是未公开的算法，我需要基于现有知识和类似算法进行合理推测。例如，Group的概念可能类似于多智能体中的分组协作，或者在单智能体中将不同的状态-动作对分组处理。Relative Optimization可能类似于竞争机制，比如让不同组的策略相互竞争或比较，从而促进更稳健的学习。 另外，可能GRPO在样本效率、稳定性或探索能力上有所改进。比如，通过分组减少方差，或者利用组内的相对信息来更有效地指导策略更新。需要结合这些点，构建一个逻辑清晰的解释，同时指出可能的数学形式或算法流程。 最后，要确保回答准确，避免错误信息，特别是对于未公开的算法，不能随意编造细节。应明确说明这是基于现有知识的推测，并建议用户参考DeepSeek的官方资料以获取准确信息。同时，可以对比GRPO与PPO等经典方法，帮助用户理解其潜在优势。</think>以下是关于 **GRPO（Group Relative Policy Optimization）** 的详细解释，结合对DeepSeek技术背景及类似算法的理解进行推测性分析（由于GRPO尚未公开发表，部分细节可能基于技术命名与现有方法的关联性）： --- ### **1. 核心思想** **GRPO** 是DeepSeek提出的一种新型策略优化算法，其核心目标是通过 **“分组相对比较”** 机制，提升强化学习训练的 **稳定性** 与 **样本效率**。与传统的策略梯度方法（如PPO）不同，GRPO引入了 **组内策略对比** 和 **相对优势评估**，以更精细地指导策略更新。 --- ### **2. 关键设计** #### **(1) 分组机制（Grouping）** - **状态/动作分组**：将状态空间或动作空间划分为多个组（Group），可能基于相似性（如状态聚类）或功能（如动作类别）。 - **组内优化**：每个组独立计算策略梯度，减少不同组之间的干扰，降低方差。 - **动态分组**：根据训练过程动态调整分组，适应策略演化。 #### **(2) 相对优势评估（Relative Advantage）** - **组间相对比较**：不再直接计算单个动作的绝对优势值（如传统优势函数 $\hat{A}_t$），而是通过 **组内或跨组的相对表现** 定义优势。 - 例如：某动作在组内的排名或与其他组的平均表现对比。 - **损失函数设计**：优化目标可能包含组间相对优势的排序损失或对比损失（类似对比学习）。 #### **(3) 策略更新约束** - **组内保守更新**：借鉴PPO的Clipping思想，但将更新约束应用在组内策略变化上，避免跨组的剧烈波动。 - **跨组平衡**：通过正则化项或约束条件，防止某些组的策略过度主导训练。 --- ### **3. 与PPO的对比** | **特性** | **PPO** | **GRPO** | |----|----------------------------------|-----------------------------------| | **优化单位** | 单样本或批量更新 | 按组（Group）为单位优化 | | **优势函数** | 绝对优势值 $\hat{A}_t$ | 组内/跨组相对优势（如排名或对比） | | **更新约束** | 单一样本的比率Clipping | 组内策略变化的约束 | | **适用场景** | 通用连续决策问题 | 复杂状态/动作空间、多模态策略场景 | --- ### **4. 潜在优势** 1. **降低方差**：分组机制减少不同状态或动作之间的耦合，抑制梯度估计的噪声。 2. **高效探索**：通过组间相对比较，鼓励策略在多个方向（组）上均衡探索。 3. **多模态策略**：分组设计天然支持学习多种策略模式（如不同风格的驾驶行为）。 4. **稳定性提升**：组内保守更新避免全局策略的剧烈震荡。 --- ### **5. 可能的技术细节（推测）** - **数学形式**：目标函数可能形如： $$ L^{\text{GRPO}} = \mathbb{E}_g \left[ \mathbb{E}_{(s,a) \in g} \left[ \min\left( r_g(\theta) \hat{A}_g, \text{clip}(r_g(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_g \right) \right] \right], $$ 其中 $g$ 表示分组，$r_g(\theta)$ 为组内策略比率。 - **实现方式**：可能结合分层强化学习（HRL）或对比学习（Contrastive Learning）技术。 --- ### **6. 应用场景（示例）** - **复杂游戏AI**：在开放世界游戏中，不同组对应不同任务（战斗、探索、社交）。 - **机器人控制**：分组对应不同运动模式（行走、跑步、跳跃）。 - **多目标优化**：组间平衡不同目标（速度、能耗、安全性）。 --- ### **总结** GRPO的核心创新在于 **“分组+相对优化”**，通过细粒度划分策略空间与引入相对比较，解决传统方法在复杂任务中的探索低效与训练不稳定问题。尽管具体实现尚未公开，但其设计理念可能对多模态策略学习和大规模RL应用有重要意义。如需准确细节，建议参考DeepSeek的官方技术文档或论文。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值