AsyncFlow: An Asynchronous Streaming RL Framework for Efficient LLM Post-Training

文章主要内容总结

本文提出了AsyncFlow，一种异步流式强化学习（RL）框架，旨在解决大型语言模型（LLM）后训练过程中的效率和可扩展性问题。

现有RL后训练框架分为任务合并型（如DeepSpeed-Chat）和任务分离型（如OpenRLHF），但存在资源闲置、负载不平衡、与特定训练/推理引擎耦合等缺陷。AsyncFlow通过以下核心设计突破这些限制：

1. 分布式数据存储与传输模块（TransferQueue）：实现细粒度数据流调度，支持任务间自动流水线重叠和动态负载均衡，无需预定义数据依赖链。
2. 生产者-消费者异步工作流：通过延迟参数更新机制（在 stale 阈值内）减少计算闲置，平衡训练效率与算法收敛性。
3. 面向服务的用户接口：将核心能力与底层引擎解耦，提供分层API，支持自定义引擎，兼顾学术研究灵活性与工业部署扩展性。

实验表明，AsyncFlow在大规模集群中平均吞吐量提升1.59倍，最大提升2.03倍，且在集群扩展时保持良好的线性扩展性。

文章创新点

1. 分布式数据管理机制：Tra