构建面向大规模 VLA 的端云协同后训练闭环：使用 verl-vla 统一数据采集、微调与强化学习

视觉—语言—动作（VLA）模型正在提升机器人对环境、语言指令和复杂任务的理解能力，但模型能力并不会自动转化为稳定的机器人表现。进入大规模 VLA 阶段后，推理和微调通常运行在云端 GPU 集群，仿真环境可能位于独立服务器，真实机器人和遥操作设备则留在边缘侧。数据采集、训练、评测和人工纠错由此被拆散在不同机器与网络中。

verl-vla 希望解决的正是这一系统问题。它基于 verl 构建，把真实机器人、仿真器、训练资源和人类操作者接入统一的后训练框架，使示范采集、监督微调、策略评测和强化学习能够持续循环。

图 1. verl-vla 统一编排数据采集、微调、评测与强化学习

从分散组件走向端云闭环

传统机器人后训练流程常常以本地脚本为中心：先采集演示数据，再单独运行训练任务，最后把模型复制到仿真器或真机上评测。当模型、环境和数据规模增长后，这种方式会暴露出三个问题：

• 资源割裂：云端算力、仿真节点和边缘机器人难以统一调度；
• 流程割裂：采集、SFT、评测和强化学习依赖不同脚本，状态难以追踪和恢复；
• 数据割裂：策略动作、人类纠错和环境反馈缺少一致的数据表达。

verl-vla 将这些环节抽象为同一套端云协同基础设施。模型、仿真环境、真实机器人和遥操作设备可以按需接入，Workflow 描述任务阶段，TrainCluster 负责把阶段映射到实际资源，Recipe 则沉淀可复现的训练方法。

TrainCluster 统一异构资源

TrainCluster 不按设备的物理位置组织资源，而是按任务角色管理 worker。环境可以运行在边缘设备或仿真节点，rollout 可部署在独立 GPU，actor 则可扩展至多卡、多节点训练。上层只需调用 start()、record()、rollout()、train()、eval() 和 shutdown() 等统一接口。

在训推分离的场景中，TrainCluster 还负责权重同步和生命周期管理。因此，开发者可以先在单机完成验证，再扩展到多 GPU、多节点乃至端云异构部署，而不必重写整套后训练逻辑。

用浏览器完成远程采集与人工干预

传统遥操作通常把输入设备直接连接到环境进程，这不适合端云分离的部署方式。verl-vla 在环境侧提供 Web 服务，使操作者能够通过浏览器接入键盘、游戏手柄或 XR 控制器，并对 Isaac Lab Arena、LIBERO 或真实机器人采用相近的交互流程。

图 2a. Isaac Lab Arena 的 Web 遥操作界面

图 2b. LIBERO 的 Web 遥操作界面

图 2c. 端侧 Piper 机器人的 Web 遥操作界面

云端模型往往以 action chunk 向机器人下发一段动作。如果逐步替换单个动作，推理和网络延迟可能破坏控制连续性。因此，verl-vla 采用轨迹级控制权切换：操作者可以暂停自主执行，插入一段完整的恢复或纠正轨迹，再把控制权交还模型。策略动作、人类动作和控制状态会记录在同一条轨迹中，供后续微调或强化学习使用。

图 3. 端云场景中的轨迹级人工干预

Workflow 与 Recipe 降低复现实验的成本

verl-vla 将系统拆成三个相互配合的层次：

1. Workflow：定义数据如何在采集、训练、评测和 checkpoint 之间流转，并支持失败恢复；
2. Trainer：聚焦算法更新和优化逻辑；
3. TrainCluster：负责分布式执行、资源分配与权重同步。

这种解耦让新算法不必重新实现环境连接、分布式调度和数据管线。例如，RECAP 可以把评测、轨迹采集、return 计算、value model 训练、advantage 标注和策略更新组合为一条流程；DSRL 则冻结基础 VLA，仅通过在线奖励优化轻量 steering 模块。

NVIDIA 组件如何接入闭环

NVIDIA 与 verl-vla 社区的协作主要集中在三个层面：

• 通过 Isaac Lab Arena 提供 GPU 并行、高保真的仿真环境；
• 将 Isaac GR00T 接入统一的微调、评测和强化学习接口；
• 把 RECAP、DSRL 等方法整理为可复现的在线后训练 Recipe。

公开实验展示了闭环训练的实际收益：

模型 / Recipe	任务与结果
ACT Quick Start	成功率约从 40% 提升到 80%
PI0.5 SFT	10 个任务取得 100/100 成功
PI0.5 + RECAP	成功率从 16% 提升到 46%，相同数据池的普通 SFT 为 12%
Isaac GR00T + RECAP	长程任务成功率从 12% 提升到 34%
Isaac GR00T + DSRL	10 个空间操作任务的平均成功率提升 15.2%

verl-vla v0.1.0 提供了什么

v0.1.0 已支持 ACT、Gaussian Actor、PI0.5 和 Isaac GR00T 等策略模型，环境覆盖 LIBERO 与 Isaac Lab Arena，训练流程包括 SFT、SAC 风格 off-policy、DSRL 和 RECAP，遥操作输入则覆盖键盘、游戏手柄与 XR 设备。

对于开发者而言，这意味着可以从已有 checkpoint 和参考 Recipe 出发，逐步替换自己的模型、环境或算法，并在同一框架中完成从数据采集到策略优化的闭环。相比为每个实验手工拼接脚本，统一基础设施更有利于扩展规模、复现实验，也便于持续吸收真实机器人上的失败案例。

总结

大规模 VLA 后训练的难点不仅是某一种算法，而是如何让云端算力、仿真器、边缘机器人和人类操作者长期协同。verl-vla 通过 TrainCluster、Web 遥操作、Workflow 与可复现 Recipe，把这些分散环节连接为可迭代的系统，并与 Isaac GR00T 和 Isaac Lab Arena 形成完整的策略—仿真—强化学习闭环。

项目地址：verl-project/verl-vla

参考来源：NVIDIA 技术博客：构建面向大规模 VLA 的端云协同后训练闭环