OpenClaw-RL: Train Any Agent Simply by Talking

OpenClaw-RL 论文核心总结与中文翻译（仅中文）

一、文章主要内容

OpenClaw-RL 是一套统一的智能体强化学习框架，核心思路是把所有交互产生的下一状态信号（用户回复、工具输出、终端/GUI状态变化、SWE执行结果等） 当作实时在线学习源，让个人对话智能体与终端、GUI、SWE、工具调用等通用智能体共用一套训练与推理架构，实现“边使用边优化”的持续学习。

核心流程

1. 架构：异步解耦四组件——策略服务（SGLang）、环境服务、PRM奖励评判、策略训练（Megatron），服务零中断、权重平滑更新。
2. 学习信号：从下一状态提取两类信息——评估信号（好坏）经PRM转为标量奖励；指令信号（怎么改）通过后验引导在线蒸馏（OPD）得到词级改进方向。
3. 训练方案：个人智能体用二元RL+OPD加权损失；通用智能体融合结果奖励+过程奖励，适配长周期任务。
4. 验证：个人智能体可快速贴合用户偏好；通用智能体在终端、GUI、SWE、工具调用场景均有效，过程奖励显著提升长周期任务效果。

二、核心创新点

1. 下一状态信号复用：首次把各类交互的下一状态统一当作实时在线学习源，挖掘评估与指令双重信息，解决现有系