2025_NIPS_Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable

文章核心总结与翻译

一、主要内容

本文针对大型语言模型（LLM）强化学习（RL）后训练中存在的效率瓶颈问题，提出了一种名为Trajectory Balance with Asynchrony（TBA） 的异步强化学习框架。该框架将轨迹平衡（TB）的离策略训练目标与分布式异步搜索相结合，核心是解耦数据生成与模型更新过程，实现高效、可扩展的LLM后训练。

核心背景与问题

现有LLM后训练常用的PPO、RLOO等算法多为在策略（on-policy） 方法，数据生成与策略更新需顺序执行，导致资源利用率低、训练瓶颈突出；而异步离策略方法虽能并行填充经验回放缓冲区，但现有方案难以稳健利用多样化的离策略数据。

关键实验与结果

在三类典型任务中验证了TBA的性能：

1. 数学推理（GSM8K）：基于RhoMath-1B模型，TBA准确率达54.6%（SFT基线40%），较VinePPO等基线提速近50倍；
2. 偏好微调（TL;DR总结）：在Pythia系列模型上，较异步DPO基线提速5倍，同时在KL散度约束下实现更高的黄金奖励模型胜率；
3. 自动化红队测试：在GPT-2和Llama3.2模型上，攻击成功率与多样性达到帕累托最优，较同步GFlowNet基线提速7倍。

核心设