2025_NIPS_Multi Time Scale World Models

文章总结与翻译

一、主要内容

该研究聚焦于智能体的世界模型学习，针对现有单时间尺度世界模型难以捕捉长期趋势、无法有效处理复杂不确定性的问题，提出了一种多时间尺度状态空间（MTS3）模型。

核心框架

MTS3 是一种分层序贯潜变量模型，通过两个耦合的状态空间模型（SSM）分别处理不同时间尺度的动态：

1. 快速时间尺度SSM：以系统原始时间步Δt运行，负责捕捉短期精细动态，其动力学模型由慢时间尺度的任务描述符参数化，使用 latent 观测值及其不确定性替代原始观测，采用线性高斯任务条件转移模型进行推理。
2. 慢速时间尺度SSM：每H步更新一次（时间步为HΔt），以任务参数作为潜状态表示，通过抽象观测和抽象动作汇总快速时间尺度的信息，采用高斯推理方案更新状态，为快速时间尺度提供任务描述符分布。

关键技术

• 推理机制：基于卡尔曼更新规则的闭合形式高斯推理，通过协方差矩阵分解减少计算复杂度，支持端到端学习。
• 训练策略：以最大化后验预测对数似然为目标，结合截断时间反向传播（BPTT）优化；引入缺失值插补训练，随机屏蔽观测值以增强长期预测能力。
• 扩展能力：2层结构可直接扩展为N层分层模型，通过增加更长离散化步长的层级实现多尺度覆盖。

实验验证

在6个数据集（D4RL系列、真实挖掘机臂、Panda机器