大模型训练实践
文章平均质量分 86
大模型训练、微调等过程中的实践笔记
MoonOutCloudBack
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
LLM 微调基础:加载 / 微调一个 7B 模型,到底需要多少显存?
7B(70亿)参数模型的显存需求:基础推理 14GB,全参 SFT 微调 87GB,LoRA 微调 18 GB,PPO 超 130 GB,GRPO 80-100 GB。原创 2026-03-11 18:45:40 · 926 阅读 · 0 评论 -
VeRL 框架下 RL 微调 DeepSeek-7B,比较 PPO / GRPO 脚本的参数差异
本文比较了 VeRL 框架中 PPO 和 GRPO 两种强化学习算法在微调 DeepSeek-7B 模型时的参数差异。PPO 使用 GAE 优势估计器并依赖 critic 网络,而 GRPO 采用组内归一化优势估计,无需 critic 网络。原创 2026-02-18 18:30:00 · 1076 阅读 · 0 评论 -
解读 VeRL 框架源码:PPO 和 GRPO 算法如何计算优势 (Advantage)
本文解析了 VeRL 框架中 PPO 和 GRPO 两种优势 (advantage) 计算方法的核心实现。PPO 采用 GAE(广义优势估计),通过计算时间差分误差来估计优势。GRPO 则将每个响应的标量奖励按提示索引分为组 (Group),根据组内均值和标准差得到归一化优势。原创 2026-02-19 09:30:00 · 2011 阅读 · 0 评论 -
VeRL 框架 RL 微调大语言模型,token-level loss 聚合方式详解
GRPO 在更新策略时,需要将每个 token 的损失(如策略梯度损失和 KL 损失)聚合成一个标量损失,不同的聚合方式,会影响模型对长短序列的偏好。VeRL 框架中实现了四种模式,本文通过具体例子解释其区别。原创 2026-02-18 09:00:00 · 1928 阅读 · 0 评论 -
VeRL 框架下 RL 微调 DeepSeek-7B,比较官方示例脚本的参数差异
本文对比了 verl 框架中两个 RL 训练脚本的差异,发现 run_deepseek7b_llm_sp2.sh 引入了 Ulysses 序列并行技术(ulysses_sequence_parallel_size=2),通过将长序列切分到多个 GPU 上处理,降低单个 GPU 的显存压力。原创 2026-02-15 18:34:31 · 958 阅读 · 0 评论 -
VeRL 框架中的奖励 (reward) 与奖励模型:从 PPO 配置到实现细节
从 PPO 微调大模型的配置入手,我们发现 VeRL 框架将奖励计算抽象为一套独立子系统,包含奖励模型 (RM)、规则函数、并行 Worker 等组件,在配置中通过 reward.* 前缀统一管理。奖励分为两类:函数型 (基于规则逻辑) 和模型型 (基于 RM)。原创 2026-02-17 14:03:27 · 1204 阅读 · 0 评论 -
VeRL 框架 RL 微调大语言模型,algorithm.use_pf_ppo 参数详解
VeRL 框架中的 use_pf_ppo 参数控制是否启用偏好反馈 PPO (PF-PPO) 机制,设为 True 时会基于奖励分数对训练数据进行重加权、重采样。PF-PPO 提供了三种重加权方法 (pow, max_min, max_random),通过放大高质量样本影响、削弱噪声数据来提升 RLHF 等场景的训练效果。原创 2026-02-16 09:00:00 · 799 阅读 · 0 评论
分享