自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(31)
  • 收藏
  • 关注

原创 NCA:解决 OPD 中重新加入 context 后,模型性能反而下降的问题

在 OPD 中,学生模型把特权上下文(给教师模型的额外 prompt)内化后,再把上下文加回来,反而可能让表现变差。这篇论文提出一种简单约束:NCA,让模型有无上下文的分布尽量一致,从而可证明地解决这个问题。

2026-10-04 15:51:20 375

原创 LLM 微调基础:加载 / 微调一个 7B 模型,到底需要多少显存?

7B(70亿)参数模型的显存需求:基础推理 14GB,全参 SFT 微调 87GB,LoRA 微调 18 GB,PPO 超 130 GB,GRPO 80-100 GB。

2026-03-11 18:45:40 926

原创 解读 VeRL 框架源码:PPO 和 GRPO 算法如何计算优势 (Advantage)

本文解析了 VeRL 框架中 PPO 和 GRPO 两种优势 (advantage) 计算方法的核心实现。PPO 采用 GAE(广义优势估计),通过计算时间差分误差来估计优势。GRPO 则将每个响应的标量奖励按提示索引分为组 (Group),根据组内均值和标准差得到归一化优势。

2026-02-19 09:30:00 2011

原创 VeRL 框架下 RL 微调 DeepSeek-7B,比较 PPO / GRPO 脚本的参数差异

本文比较了 VeRL 框架中 PPO 和 GRPO 两种强化学习算法在微调 DeepSeek-7B 模型时的参数差异。PPO 使用 GAE 优势估计器并依赖 critic 网络,而 GRPO 采用组内归一化优势估计,无需 critic 网络。

2026-02-18 18:30:00 1076

原创 VeRL 框架 RL 微调大语言模型,token-level loss 聚合方式详解

GRPO 在更新策略时,需要将每个 token 的损失(如策略梯度损失和 KL 损失)聚合成一个标量损失,不同的聚合方式,会影响模型对长短序列的偏好。VeRL 框架中实现了四种模式,本文通过具体例子解释其区别。

2026-02-18 09:00:00 1928

原创 VeRL 框架中的奖励 (reward) 与奖励模型:从 PPO 配置到实现细节

从 PPO 微调大模型的配置入手,我们发现 VeRL 框架将奖励计算抽象为一套独立子系统,包含奖励模型 (RM)、规则函数、并行 Worker 等组件,在配置中通过 reward.* 前缀统一管理。奖励分为两类:函数型 (基于规则逻辑) 和模型型 (基于 RM)。

2026-02-17 14:03:27 1204

原创 VeRL 框架 RL 微调大语言模型,algorithm.use_pf_ppo 参数详解

VeRL 框架中的 use_pf_ppo 参数控制是否启用偏好反馈 PPO (PF-PPO) 机制,设为 True 时会基于奖励分数对训练数据进行重加权、重采样。PF-PPO 提供了三种重加权方法 (pow, max_min, max_random),通过放大高质量样本影响、削弱噪声数据来提升 RLHF 等场景的训练效果。

2026-02-16 09:00:00 799

原创 VeRL 框架下 RL 微调 DeepSeek-7B,比较官方示例脚本的参数差异

本文对比了 verl 框架中两个 RL 训练脚本的差异,发现 run_deepseek7b_llm_sp2.sh 引入了 Ulysses 序列并行技术(ulysses_sequence_parallel_size=2),通过将长序列切分到多个 GPU 上处理,降低单个 GPU 的显存压力。

2026-02-15 18:34:31 958

原创 Nash-MTL:在多任务梯度组合中引入纳什谈判解

算法直观介绍:使用博弈论中的“纳什谈判解”,建模多任务优化问题中的梯度组合,最大化 ∑ log(Δθᵀgᵢ),其中 gᵢ 是第 i 个任务的梯度。

2026-01-08 18:21:17 1131

原创 PCGrad:通过梯度手术,让多任务学习不再“左右互搏”

算法核心思想:如果两个任务的梯度方向冲突(夹角 > 90°),就把每个梯度投影到另一个梯度的“垂直平面”上,去掉冲突部分。

2026-01-07 09:00:00 1843

原创 GradDrop:让多任务学习不再“梯度拔河”

算法直观介绍:对于每一个参数,GradDrop 只允许一个“方向”的更新(要么全增加,要么全减少),但保留这个方向上所有的“力量”。

2026-01-06 13:00:00 1734

原创 CAGrad:保证收敛到平均损失最小的多任务梯度算法

CAGrad 在平均梯度附近寻找一个更新方向,让所有任务中损失下降最慢的那个任务也能得到提升,从而平衡各任务,同时还能保证最终收敛到平均损失的最小值。

2026-01-05 23:15:30 1263

原创 GradNorm:多任务学习中的梯度平衡方法

在多任务学习中,某个任务梯度太大会压制其他任务的学习。GradNorm 通过动态调整各任务损失权重,使得各任务的梯度大小与其训练速度成反比,从而平衡各个梯度大小。

2026-01-05 19:32:20 1651

原创 MGDA-UB:寻找多任务学习中的帕累托最优,缓解任务冲突问题

这篇文章将多任务学习重新定义为多目标优化问题,提出了名为 MGDA-UB 的高效算法,能在几乎不增加计算成本的情况下,找到让各个任务都尽可能好的"帕累托最优"解。

2026-01-02 21:51:04 877

原创 GiGPO:为 LLM 智能体注入细粒度信用分配,突破长视野决策瓶颈

简单的哈希表找到相同状态,将所有相同状态组成分组(group),并在组内计算优势(advantage),从而提供细粒度信用分配信号。

2025-11-05 08:45:00 1879

原创 ArCHer:LLM 的高效分层强化学习框架,突破多轮决策瓶颈

使用分层 RL 思想,解决 multi-turn 的信用分配问题:在高层次,采用时序差分方法来训练语句级(utterance-leve)的价值函数,在低层上,采用 GRPO 等算法来优化 token 生成,而将高层价值函数视为该轮的终局奖励。

2025-11-04 22:14:48 1492

原创 RAGEN 与 StarPO 框架:如何让 LLM 在多轮交互中自我进化?

RAGEN 关注 LLM 多轮(multi-turn)任务的强化学习微调,揭示了直接应用单轮 RL 算法的挑战。

2025-11-04 08:45:00 1444

原创 VinePPO:基于蒙特卡洛采样的无偏 credit assignment 进行价值估计,提升大模型推理能力

VinePPO 利用 LLM 环境可重置的特性,使用蒙特卡洛采样,估计 PPO 的价值函数。

2025-11-03 20:26:58 1030

原创 学习不对称的世界:泊松准度量嵌入(PQE)详解

项目代码:https://github.com/quasimetric-learning/torch-quasimetric

2025-11-02 15:08:29 1010

原创 分布式计算环境下的任务调度与能耗优化 —— 核心概念、挑战与前沿方法解析

总结分布式计算(云、雾、IoE)环境中任务调度(task scheduling)场景的三篇综述论文。

2025-10-01 19:12:02 757

原创 【机器学习基础】多分类任务和多标签任务的区别

感觉主要区别是,多标签任务中,各个标签的概率 不会归一化到 加起来 = 1。

2025-08-14 00:18:38 1226

原创 【WWW 2024】POLISH:可以动态增加类别标签的 Hash-based 语义 ID 方法

为类别 embedding 乘 Hadamard 矩阵,使其正交化,然后根据输入高维向量的类别标签构建 loss。

2025-07-23 17:59:17 782

原创 【ICRA 2023】SASD 论文阅读笔记:一种安全感知的无监督技能发现方法

Safety-aware unsupervised skill discovery,感觉仍然是加监督信号 加 reward 的方法。

2025-07-21 21:29:11 2201

原创 从高维到离散:深入理解 Product Quantization (PQ) 的原理与应用

Product Quantization:分块 → 聚类 → 找最近的聚类中心。

2025-07-16 18:00:00 3018

原创 从搜索引擎到推荐算法:SimHash 的原理、优化与实践

本文介绍了 SimHash 算法,看起来意外的简单。

2025-07-16 11:10:24 2569

原创 WDM 论文阅读笔记:从信息论到表示学习

把互信息中的 KL(p(xy), p(x)p(y)) 替换成了 W(p(xy), p(x)p(y)),好像性能更好。

2025-07-13 14:09:15 740

原创 深度解析 RQ-VAE:如何通过残差量化提升图像生成效率

第一次接触 quantized 的离散化方法,感觉很新颖。

2025-07-13 13:13:13 2811

原创 eBay 电商搜索新突破:NEAR2 嵌套向量方法,让搜索“又快又准”

NEAR2 提出多维度(64 128 512)embedding 训练技术,为每一维都训练对比学习 loss,使得每一种维度的 embedding 都包含全局信息,且 embedding 头部信息量最大。

2025-07-02 22:40:25 616

原创 非对称模态检索:京东 SMAR 在电商搜索中的创新实践

1. 使用多个任务训练多模态 embedding,2. 训练一个按需使用图片模态的“门控”模块。

2025-07-02 22:14:58 1056

原创 推荐系统前沿初探:从语义 ID 到多模态大模型

什么是语义 ID?它是如何工作的?如何将连续 embedding 转换为离散的语义 ID?

2025-07-02 21:36:14 2050

原创 五分钟彻底理解 Model-Agnostic Meta-Learning(MAML)

MAML 训练模型的初始参数,使其面对新任务时,只需少量数据 + 几步梯度更新便能快速学习。

2025-04-04 15:29:09 733

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除