<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[MoonOutCloudBack的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/MoonOutCloudBack</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; MoonOutCloudBack]]></copyright><item><title><![CDATA[NCA：解决 OPD 中重新加入 context 后，模型性能反而下降的问题]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/167082371</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/167082371</guid><author>MoonOutCloudBack</author><pubDate>Sun, 04 Oct 2026 15:51:20 +0800</pubDate><description><![CDATA[在 OPD 中，学生模型把特权上下文（给教师模型的额外 prompt）内化后，再把上下文加回来，反而可能让表现变差。这篇论文提出一种简单约束：NCA，让模型有无上下文的分布尽量一致，从而可证明地解决这个问题。]]></description><category></category></item><item><title><![CDATA[LLM 微调基础：加载 / 微调一个 7B 模型，到底需要多少显存？]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158932005</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158932005</guid><author>MoonOutCloudBack</author><pubDate>Wed, 11 Mar 2026 18:45:40 +0800</pubDate><description><![CDATA[7B（70亿）参数模型的显存需求：基础推理 14GB，全参 SFT 微调 87GB，LoRA 微调 18 GB，PPO 超 130 GB，GRPO 80-100 GB。]]></description><category></category></item><item><title><![CDATA[解读 VeRL 框架源码：PPO 和 GRPO 算法如何计算优势 (Advantage)]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158180150</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158180150</guid><author>MoonOutCloudBack</author><pubDate>Thu, 19 Feb 2026 09:30:00 +0800</pubDate><description><![CDATA[本文解析了 VeRL 框架中 PPO 和 GRPO 两种优势 (advantage) 计算方法的核心实现。PPO 采用 GAE（广义优势估计），通过计算时间差分误差来估计优势。GRPO 则将每个响应的标量奖励按提示索引分为组 (Group)，根据组内均值和标准差得到归一化优势。]]></description><category></category></item><item><title><![CDATA[VeRL 框架下 RL 微调 DeepSeek-7B，比较 PPO / GRPO 脚本的参数差异]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158180290</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158180290</guid><author>MoonOutCloudBack</author><pubDate>Wed, 18 Feb 2026 18:30:00 +0800</pubDate><description><![CDATA[本文比较了 VeRL 框架中 PPO 和 GRPO 两种强化学习算法在微调 DeepSeek-7B 模型时的参数差异。PPO 使用 GAE 优势估计器并依赖 critic 网络，而 GRPO 采用组内归一化优势估计，无需 critic 网络。]]></description><category></category></item><item><title><![CDATA[VeRL 框架 RL 微调大语言模型，token-level loss 聚合方式详解]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158156507</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158156507</guid><author>MoonOutCloudBack</author><pubDate>Wed, 18 Feb 2026 09:00:00 +0800</pubDate><description><![CDATA[GRPO 在更新策略时，需要将每个 token 的损失（如策略梯度损失和 KL 损失）聚合成一个标量损失，不同的聚合方式，会影响模型对长短序列的偏好。VeRL 框架中实现了四种模式，本文通过具体例子解释其区别。]]></description><category></category></item><item><title><![CDATA[VeRL 框架中的奖励 (reward) 与奖励模型：从 PPO 配置到实现细节]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158153063</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158153063</guid><author>MoonOutCloudBack</author><pubDate>Tue, 17 Feb 2026 14:03:27 +0800</pubDate><description><![CDATA[从 PPO 微调大模型的配置入手，我们发现 VeRL 框架将奖励计算抽象为一套独立子系统，包含奖励模型 (RM)、规则函数、并行 Worker 等组件，在配置中通过 reward.* 前缀统一管理。奖励分为两类：函数型 (基于规则逻辑) 和模型型 (基于 RM)。]]></description><category></category></item><item><title><![CDATA[VeRL 框架 RL 微调大语言模型，algorithm.use_pf_ppo 参数详解]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158101272</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158101272</guid><author>MoonOutCloudBack</author><pubDate>Mon, 16 Feb 2026 09:00:00 +0800</pubDate><description><![CDATA[VeRL 框架中的 use_pf_ppo 参数控制是否启用偏好反馈 PPO (PF-PPO) 机制，设为 True 时会基于奖励分数对训练数据进行重加权、重采样。PF-PPO 提供了三种重加权方法 (pow, max_min, max_random)，通过放大高质量样本影响、削弱噪声数据来提升 RLHF 等场景的训练效果。]]></description><category></category></item><item><title><![CDATA[VeRL 框架下 RL 微调 DeepSeek-7B，比较官方示例脚本的参数差异]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158101107</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/158101107</guid><author>MoonOutCloudBack</author><pubDate>Sun, 15 Feb 2026 18:34:31 +0800</pubDate><description><![CDATA[本文对比了 verl 框架中两个 RL 训练脚本的差异，发现 run_deepseek7b_llm_sp2.sh 引入了 Ulysses 序列并行技术（ulysses_sequence_parallel_size=2），通过将长序列切分到多个 GPU 上处理，降低单个 GPU 的显存压力。]]></description><category></category></item><item><title><![CDATA[Nash-MTL：在多任务梯度组合中引入纳什谈判解]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156730958</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156730958</guid><author>MoonOutCloudBack</author><pubDate>Thu, 08 Jan 2026 18:21:17 +0800</pubDate><description><![CDATA[算法直观介绍：使用博弈论中的“纳什谈判解”，建模多任务优化问题中的梯度组合，最大化 ∑ log(Δθᵀgᵢ)，其中 gᵢ 是第 i 个任务的梯度。]]></description><category></category></item><item><title><![CDATA[PCGrad：通过梯度手术，让多任务学习不再“左右互搏”]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156618799</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156618799</guid><author>MoonOutCloudBack</author><pubDate>Wed, 07 Jan 2026 09:00:00 +0800</pubDate><description><![CDATA[算法核心思想：如果两个任务的梯度方向冲突（夹角 > 90°），就把每个梯度投影到另一个梯度的“垂直平面”上，去掉冲突部分。]]></description><category></category></item><item><title><![CDATA[GradDrop：让多任务学习不再“梯度拔河”]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156618026</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156618026</guid><author>MoonOutCloudBack</author><pubDate>Tue, 06 Jan 2026 13:00:00 +0800</pubDate><description><![CDATA[算法直观介绍：对于每一个参数，GradDrop 只允许一个“方向”的更新（要么全增加，要么全减少），但保留这个方向上所有的“力量”。]]></description><category></category></item><item><title><![CDATA[CAGrad：保证收敛到平均损失最小的多任务梯度算法]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156617297</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156617297</guid><author>MoonOutCloudBack</author><pubDate>Mon, 05 Jan 2026 23:15:30 +0800</pubDate><description><![CDATA[CAGrad 在平均梯度附近寻找一个更新方向，让所有任务中损失下降最慢的那个任务也能得到提升，从而平衡各任务，同时还能保证最终收敛到平均损失的最小值。]]></description><category></category></item><item><title><![CDATA[GradNorm：多任务学习中的梯度平衡方法]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156614639</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156614639</guid><author>MoonOutCloudBack</author><pubDate>Mon, 05 Jan 2026 19:32:20 +0800</pubDate><description><![CDATA[在多任务学习中，某个任务梯度太大会压制其他任务的学习。GradNorm 通过动态调整各任务损失权重，使得各任务的梯度大小与其训练速度成反比，从而平衡各个梯度大小。]]></description><category></category></item><item><title><![CDATA[MGDA-UB：寻找多任务学习中的帕累托最优，缓解任务冲突问题]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156518736</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/156518736</guid><author>MoonOutCloudBack</author><pubDate>Fri, 02 Jan 2026 21:51:04 +0800</pubDate><description><![CDATA[这篇文章将多任务学习重新定义为多目标优化问题，提出了名为 MGDA-UB 的高效算法，能在几乎不增加计算成本的情况下，找到让各个任务都尽可能好的"帕累托最优"解。]]></description><category></category></item><item><title><![CDATA[GiGPO：为 LLM 智能体注入细粒度信用分配，突破长视野决策瓶颈]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154410541</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154410541</guid><author>MoonOutCloudBack</author><pubDate>Wed, 05 Nov 2025 08:45:00 +0800</pubDate><description><![CDATA[简单的哈希表找到相同状态，将所有相同状态组成分组（group），并在组内计算优势（advantage），从而提供细粒度信用分配信号。]]></description><category></category></item><item><title><![CDATA[ArCHer：LLM 的高效分层强化学习框架，突破多轮决策瓶颈]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154408892</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154408892</guid><author>MoonOutCloudBack</author><pubDate>Tue, 04 Nov 2025 22:14:48 +0800</pubDate><description><![CDATA[使用分层 RL 思想，解决 multi-turn 的信用分配问题：在高层次，采用时序差分方法来训练语句级（utterance-leve）的价值函数，在低层上，采用 GRPO 等算法来优化 token 生成，而将高层价值函数视为该轮的终局奖励。]]></description><category></category></item><item><title><![CDATA[RAGEN 与 StarPO 框架：如何让 LLM 在多轮交互中自我进化？]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154362014</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154362014</guid><author>MoonOutCloudBack</author><pubDate>Tue, 04 Nov 2025 08:45:00 +0800</pubDate><description><![CDATA[RAGEN 关注 LLM 多轮（multi-turn）任务的强化学习微调，揭示了直接应用单轮 RL 算法的挑战。]]></description><category></category></item><item><title><![CDATA[VinePPO：基于蒙特卡洛采样的无偏 credit assignment 进行价值估计，提升大模型推理能力]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154359478</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154359478</guid><author>MoonOutCloudBack</author><pubDate>Mon, 03 Nov 2025 20:26:58 +0800</pubDate><description><![CDATA[VinePPO 利用 LLM 环境可重置的特性，使用蒙特卡洛采样，估计 PPO 的价值函数。]]></description><category></category></item><item><title><![CDATA[学习不对称的世界：泊松准度量嵌入（PQE）详解]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154288799</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/154288799</guid><author>MoonOutCloudBack</author><pubDate>Sun, 02 Nov 2025 15:08:29 +0800</pubDate><description><![CDATA[项目代码：https://github.com/quasimetric-learning/torch-quasimetric]]></description><category></category></item><item><title><![CDATA[分布式计算环境下的任务调度与能耗优化 —— 核心概念、挑战与前沿方法解析]]></title><link>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/152374879</link><guid>https://blog.youkuaiyun.com/MoonOutCloudBack/article/details/152374879</guid><author>MoonOutCloudBack</author><pubDate>Wed, 01 Oct 2025 19:12:02 +0800</pubDate><description><![CDATA[总结分布式计算（云、雾、IoE）环境中任务调度（task scheduling）场景的三篇综述论文。]]></description><category></category></item></channel></rss>