2025_NIPS_OWMM-Agent: Open World Mobile Manipulation With Multi-modal Agentic Data Synthesis

文章核心总结与创新点

一、主要内容

本文针对开放世界移动操作（OWMM）任务的核心挑战（需适应开放式指令与未知环境、融合高层决策与低层机器人控制、解决领域迁移导致的幻觉问题），提出了OWMM-Agent——一种基于视觉语言模型（VLM）的统一智能体架构，以及配套的智能体数据合成管道，实现了全局场景理解、机器人状态跟踪与多模态动作生成的端到端解决方案。

核心背景

OWMM任务要求移动操作机器人解读自然语言指令，在非结构化、未见过的环境中完成操作，但现有方法存在局限：要么依赖耗时的3D重建，难以应对动态开放环境；要么预训练VLM存在领域迁移问题，在机器人控制所需的空间定位、状态跟踪、实体先验等方面表现不足。

技术方案

1. OWMM-Agent架构：以统一VLM为核心，将OWMM任务转化为多轮、多图像、多模态推理问题。通过长期环境记忆（场景图像）和瞬时机器人状态记忆（文本摘要），生成带坐标的高层动作（如图像检索、导航到点、拾取、放置），再通过经典规划器转化为低层机器人控制指令（关节速度、基座速度）。
2. 智能体数据合成管道：基于 Habitat 模拟器和PDDL任务规划语言，自动生成大规模、带结构化思维链（CoT）标注的训练数据，最小化人工标注成本。数据涵盖导航、拾取、放置等核心动作，包含任务推理、感知 grounding、历史总结等关键信息，并通过GPT-4o mini增强语言多样性。