Earl: Efficient Agentic Reinforcement Learning Systems for Large Language Models

你对这篇Agentic RL系统论文的关注点很关键，它精准抓住了大模型训练中的实际瓶颈。该论文提出的Earl系统，核心是通过动态并行配置和高效数据分发，解决智能体强化学习（Agentic RL）训练中上下文长度爆炸和跨设备数据传输的两大难题，实现大规模稳定训练。

一、论文主要内容总结

1. 研究背景与问题

• 智能体强化学习（Agentic RL）是大模型（LLM）后训练的关键技术，能通过多轮交互和工具使用提升模型推理、决策能力，但训练中存在两大瓶颈。
• 上下文长度爆炸：多轮交互使上下文长度快速增长，导致内存占用激增（如Llama-3.1-70B模型在8192上下文长度下需354GB显存），易触发内存溢出（OOM），现有“硬限制+长度惩罚”方案会制约模型性能。
• 数据传输瓶颈：上下文增长伴随大量中间张量（如tokens、日志概率、奖励值），跨设备传输时，传统集中式架构（如VeRL）需20分钟以上传输1TB数据，占迭代时间25%以上，严重降低吞吐量。

2. Earl系统设计

Earl系统围绕两大核心组件构建，嵌入标准RL训练流程（Rollout→Experience Preparation→Model Update）。

• 并行选择器（Parallelism Sel