由清华大学交叉信息研究院与蚂蚁集团团队共同开发的 AReaL,是一款开源的全异步强化学习训练系统。它亮点颇多,发展迅速,为 AI 智能体构建带来新可能。
系统概况
AReaL 基于 ReaLHF 项目构建,秉持开源原则,提供训练细节、数据等。其目标是让每个人能轻松经济地构建 AI 智能体,灵活性、可扩展性和前沿性能是它的几大亮点。
发展历程
自 2025 年 2 月 24 日推出初始版本以来,AReaL 不断迭代。如 2025 年 6 月 3 日发布的 boba²,实现 2.77 倍加速;2026 年 2 月 6 日推出的 AReaL - SEA,让 235B 的 MoE 模型性能超越 GPT 5。
功能示例
AReaL 可应用于数学与推理、智能体 RL、视觉 - 语言模型、对齐与基础设施等任务。例如在数学推理任务中,支持多种算法进行 GSM8K 推理。
支持矩阵
在算法上,支持多种 RL 算法的异步和同步版本;模型方面,对 Qwen 等多个模型家族有不同程度支持;训练和推理后端也有多种选择,适配不同需求。
未来展望
AReaL 计划每周小版本、每月大版本发布,还在积极招聘。它欢迎社区贡献,有望在开源强化学习领域持续发力,推动 AI 智能体技术发展。
编辑观点:AReaL 凭借开源特性和出色性能,有望吸引更多开发者。持续更新和社区参与将加速其发展,或成强化学习系统领域有力竞争者。
421



被折叠的 条评论
为什么被折叠?



