- 博客(31)
- 收藏
- 关注
原创 NCA:解决 OPD 中重新加入 context 后,模型性能反而下降的问题
在 OPD 中,学生模型把特权上下文(给教师模型的额外 prompt)内化后,再把上下文加回来,反而可能让表现变差。这篇论文提出一种简单约束:NCA,让模型有无上下文的分布尽量一致,从而可证明地解决这个问题。
2026-10-04 15:51:20
375
原创 LLM 微调基础:加载 / 微调一个 7B 模型,到底需要多少显存?
7B(70亿)参数模型的显存需求:基础推理 14GB,全参 SFT 微调 87GB,LoRA 微调 18 GB,PPO 超 130 GB,GRPO 80-100 GB。
2026-03-11 18:45:40
926
原创 解读 VeRL 框架源码:PPO 和 GRPO 算法如何计算优势 (Advantage)
本文解析了 VeRL 框架中 PPO 和 GRPO 两种优势 (advantage) 计算方法的核心实现。PPO 采用 GAE(广义优势估计),通过计算时间差分误差来估计优势。GRPO 则将每个响应的标量奖励按提示索引分为组 (Group),根据组内均值和标准差得到归一化优势。
2026-02-19 09:30:00
2011
原创 VeRL 框架下 RL 微调 DeepSeek-7B,比较 PPO / GRPO 脚本的参数差异
本文比较了 VeRL 框架中 PPO 和 GRPO 两种强化学习算法在微调 DeepSeek-7B 模型时的参数差异。PPO 使用 GAE 优势估计器并依赖 critic 网络,而 GRPO 采用组内归一化优势估计,无需 critic 网络。
2026-02-18 18:30:00
1076
原创 VeRL 框架 RL 微调大语言模型,token-level loss 聚合方式详解
GRPO 在更新策略时,需要将每个 token 的损失(如策略梯度损失和 KL 损失)聚合成一个标量损失,不同的聚合方式,会影响模型对长短序列的偏好。VeRL 框架中实现了四种模式,本文通过具体例子解释其区别。
2026-02-18 09:00:00
1928
原创 VeRL 框架中的奖励 (reward) 与奖励模型:从 PPO 配置到实现细节
从 PPO 微调大模型的配置入手,我们发现 VeRL 框架将奖励计算抽象为一套独立子系统,包含奖励模型 (RM)、规则函数、并行 Worker 等组件,在配置中通过 reward.* 前缀统一管理。奖励分为两类:函数型 (基于规则逻辑) 和模型型 (基于 RM)。
2026-02-17 14:03:27
1204
原创 VeRL 框架 RL 微调大语言模型,algorithm.use_pf_ppo 参数详解
VeRL 框架中的 use_pf_ppo 参数控制是否启用偏好反馈 PPO (PF-PPO) 机制,设为 True 时会基于奖励分数对训练数据进行重加权、重采样。PF-PPO 提供了三种重加权方法 (pow, max_min, max_random),通过放大高质量样本影响、削弱噪声数据来提升 RLHF 等场景的训练效果。
2026-02-16 09:00:00
799
原创 VeRL 框架下 RL 微调 DeepSeek-7B,比较官方示例脚本的参数差异
本文对比了 verl 框架中两个 RL 训练脚本的差异,发现 run_deepseek7b_llm_sp2.sh 引入了 Ulysses 序列并行技术(ulysses_sequence_parallel_size=2),通过将长序列切分到多个 GPU 上处理,降低单个 GPU 的显存压力。
2026-02-15 18:34:31
958
原创 Nash-MTL:在多任务梯度组合中引入纳什谈判解
算法直观介绍:使用博弈论中的“纳什谈判解”,建模多任务优化问题中的梯度组合,最大化 ∑ log(Δθᵀgᵢ),其中 gᵢ 是第 i 个任务的梯度。
2026-01-08 18:21:17
1131
原创 PCGrad:通过梯度手术,让多任务学习不再“左右互搏”
算法核心思想:如果两个任务的梯度方向冲突(夹角 > 90°),就把每个梯度投影到另一个梯度的“垂直平面”上,去掉冲突部分。
2026-01-07 09:00:00
1843
原创 GradDrop:让多任务学习不再“梯度拔河”
算法直观介绍:对于每一个参数,GradDrop 只允许一个“方向”的更新(要么全增加,要么全减少),但保留这个方向上所有的“力量”。
2026-01-06 13:00:00
1734
原创 CAGrad:保证收敛到平均损失最小的多任务梯度算法
CAGrad 在平均梯度附近寻找一个更新方向,让所有任务中损失下降最慢的那个任务也能得到提升,从而平衡各任务,同时还能保证最终收敛到平均损失的最小值。
2026-01-05 23:15:30
1263
原创 GradNorm:多任务学习中的梯度平衡方法
在多任务学习中,某个任务梯度太大会压制其他任务的学习。GradNorm 通过动态调整各任务损失权重,使得各任务的梯度大小与其训练速度成反比,从而平衡各个梯度大小。
2026-01-05 19:32:20
1651
原创 MGDA-UB:寻找多任务学习中的帕累托最优,缓解任务冲突问题
这篇文章将多任务学习重新定义为多目标优化问题,提出了名为 MGDA-UB 的高效算法,能在几乎不增加计算成本的情况下,找到让各个任务都尽可能好的"帕累托最优"解。
2026-01-02 21:51:04
877
原创 GiGPO:为 LLM 智能体注入细粒度信用分配,突破长视野决策瓶颈
简单的哈希表找到相同状态,将所有相同状态组成分组(group),并在组内计算优势(advantage),从而提供细粒度信用分配信号。
2025-11-05 08:45:00
1879
原创 ArCHer:LLM 的高效分层强化学习框架,突破多轮决策瓶颈
使用分层 RL 思想,解决 multi-turn 的信用分配问题:在高层次,采用时序差分方法来训练语句级(utterance-leve)的价值函数,在低层上,采用 GRPO 等算法来优化 token 生成,而将高层价值函数视为该轮的终局奖励。
2025-11-04 22:14:48
1492
原创 RAGEN 与 StarPO 框架:如何让 LLM 在多轮交互中自我进化?
RAGEN 关注 LLM 多轮(multi-turn)任务的强化学习微调,揭示了直接应用单轮 RL 算法的挑战。
2025-11-04 08:45:00
1444
原创 VinePPO:基于蒙特卡洛采样的无偏 credit assignment 进行价值估计,提升大模型推理能力
VinePPO 利用 LLM 环境可重置的特性,使用蒙特卡洛采样,估计 PPO 的价值函数。
2025-11-03 20:26:58
1030
原创 学习不对称的世界:泊松准度量嵌入(PQE)详解
项目代码:https://github.com/quasimetric-learning/torch-quasimetric
2025-11-02 15:08:29
1010
原创 分布式计算环境下的任务调度与能耗优化 —— 核心概念、挑战与前沿方法解析
总结分布式计算(云、雾、IoE)环境中任务调度(task scheduling)场景的三篇综述论文。
2025-10-01 19:12:02
757
原创 【WWW 2024】POLISH:可以动态增加类别标签的 Hash-based 语义 ID 方法
为类别 embedding 乘 Hadamard 矩阵,使其正交化,然后根据输入高维向量的类别标签构建 loss。
2025-07-23 17:59:17
782
原创 【ICRA 2023】SASD 论文阅读笔记:一种安全感知的无监督技能发现方法
Safety-aware unsupervised skill discovery,感觉仍然是加监督信号 加 reward 的方法。
2025-07-21 21:29:11
2201
原创 从高维到离散:深入理解 Product Quantization (PQ) 的原理与应用
Product Quantization:分块 → 聚类 → 找最近的聚类中心。
2025-07-16 18:00:00
3018
原创 WDM 论文阅读笔记:从信息论到表示学习
把互信息中的 KL(p(xy), p(x)p(y)) 替换成了 W(p(xy), p(x)p(y)),好像性能更好。
2025-07-13 14:09:15
740
原创 eBay 电商搜索新突破:NEAR2 嵌套向量方法,让搜索“又快又准”
NEAR2 提出多维度(64 128 512)embedding 训练技术,为每一维都训练对比学习 loss,使得每一种维度的 embedding 都包含全局信息,且 embedding 头部信息量最大。
2025-07-02 22:40:25
616
原创 非对称模态检索:京东 SMAR 在电商搜索中的创新实践
1. 使用多个任务训练多模态 embedding,2. 训练一个按需使用图片模态的“门控”模块。
2025-07-02 22:14:58
1056
原创 五分钟彻底理解 Model-Agnostic Meta-Learning(MAML)
MAML 训练模型的初始参数,使其面对新任务时,只需少量数据 + 几步梯度更新便能快速学习。
2025-04-04 15:29:09
733
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅