2025_NIPS_Learning Interactive World Model for Object-Centric Reinforcement Learning

文章核心总结与翻译

一、主要内容

文章提出因子化交互式目标中心世界模型（FIOC-WM），为目标中心强化学习提供统一框架。核心是通过两级因子化（目标级+属性级）学习环境的结构化表示，明确建模目标间交互，再结合分层策略实现高效、可泛化的决策学习。

• 模型架构分两阶段：离线模型学习（利用预训练视觉编码器提取目标中心潜变量，分解静态/动态属性，学习交互图）和在线分层策略学习（高层策略选择交互序列，低层策略执行具体交互）。
• 实验验证：在SpritesWorld、OpenAI-Gym Fetch、Franka Kitchen等多个机器人控制和具身智能基准测试中，FIOC-WM在样本效率、长周期任务性能和组合泛化能力上均优于DreamerV3、TD-MPC2等基线模型。

二、创新点

1. 两级因子化表示：首次同时实现目标级（分解场景为独立目标并建模交互）和属性级（每个目标分解为静态属性与动态变量）的结构化分解，减少冗余并精准捕捉环境动态。
2. 显式交互建模：通过交互图动态捕捉目标间时序交互关系，而非隐式编码，为策略学习提供可组合的交互原语。
3. 分层策略设计：高层策略规划交互序列，低层策略基于预训练交互模型执行动作，大幅提升长周期任务的学习效率。
4. 融合预训练视觉特征：借助DINO-v2、R3M等预训练视觉编码器，高效提取语义丰富的潜变量，提升模型对复杂视觉输入的处理能力。

---