2025_NIPS_VIKI-R: Coordinating Embodied Multi-Agent Cooperation via Reinforcement Learning

文章核心总结与创新点

一、主要内容

本文聚焦于具身多智能体协作的核心挑战，提出了VIKI-Bench（首个面向具身多智能体协作的分层基准测试集）和VIKI-R（两阶段视觉推理框架），旨在解决异质智能体在动态环境中的感知驱动推理与高效协作问题。

1. VIKI-Bench 基准测试集：

   • 分层任务设计：包含三个核心层级（智能体激活、任务规划、轨迹感知），覆盖从智能体选择到动作序列生成再到运动轨迹预测的全流程协作需求。
   • 关键特性：支持异质智能体类型（如人形机器人、轮式机械臂等6类）、多视角视觉输入（第一人称视角+全局视角），包含23,737个任务样本，覆盖家庭到工业场景。
   • 评估维度：针对不同层级任务设计专属指标（如激活准确率、规划可行性、轨迹距离误差等），实现多维度综合评估。

2. VIKI-R 学习框架：

   • 两阶段训练：第一阶段基于思维链（Chain-of-Thought）标注进行有监督微调（SFT），让模型掌握领域特定推理模式；第二阶段采用分组相对近邻优化（GRPO）强化学习，结合分层奖励信号优化策略。
   • 奖励设计：融合格式奖励（保证输出结构化）和任务专属奖励（激活准确率、规划效率、轨迹相似度），平衡可解释性与任务性能。
   • 实验验证：在VIKI-Bench全层级任务中显著优于现有开源/闭源模型（