Robobench: A Comprehensive Evaluation Benchmark for Multimodal Large Language Models as Embodied ...

文章核心总结

本文提出RoboBench，一个用于评估多模态大语言模型（MLLMs）作为“具身大脑”的综合基准，聚焦机器人操作任务中的高层认知能力。核心内容围绕五大评估维度展开，通过真实数据构建和创新评估框架，揭示当前MLLMs的具身推理短板，为机器人智能发展提供指导。

主要内容

1. 背景与痛点：现有基准多关注任务执行成功率，或认知维度覆盖不全、任务真实性不足、规划评估简单化，无法全面衡量MLLMs的具身认知能力。
2. 基准设计：定义五大核心维度（指令理解、感知推理、泛化规划、可用性预测、故障分析），涵盖14项能力、25个任务和6092个问答样本，数据源自真实机器人操作和自定义采集。
3. 评估框架：创新“MLLM作为世界模拟器”的规划评估方法，通过模拟物理和视觉约束下的计划执行，评估长期规划的可行性。
4. 实验发现：Gemini-2.5-Pro表现最佳但仍落后人类；MLLMs在隐式指令理解、时空推理、跨场景规划等方面存在显著短板；闭源模型整体优于开源模型，领域专用具身模型表现更优。

创新点

1. 全面认知维度：首次整合具身操作全流程的五大认知维度，避免单一能力评估的局限性。
2. 高真实度任务设计：覆盖单臂/双臂/移动机器人、多属性物体、多视角场景等真实场景，缩小