2025_NIPS_SPARTAN: A Sparse Transformer World Model Attending to What Matters

文章总结与翻译

一、主要内容

本文聚焦于世界模型中对实体间交互结构的捕捉问题，提出了一种基于Transformer的稀疏世界模型SPARTAN。该模型核心目标是通过稀疏正则化学习场景中实体间依赖上下文的局部因果结构，从而提升模型对环境变化的适应能力、鲁棒性和可解释性。

核心背景与问题

现有Transformer类世界模型虽能实现精准预测，但在数据高效性地泛化和适应环境变化方面存在不足，且易受干扰因素影响。传统因果发现方法多学习固定全局因果图，无法适配碰撞等时间稀疏性的物理交互，而现有局部因果发现方法难以扩展到复杂图像观测场景。

模型核心设计

1. 稀疏注意力机制：通过对目标分解令牌间的注意力模式施加稀疏正则化，结合硬注意力机制，学习稀疏的、依赖上下文的交互图，准确预测物体未来状态。
2. 路径矩阵跟踪：针对多层Transformer的多跳信息传递问题，计算路径矩阵以追踪实体间的因果路径，明确局部因果父节点。
3. 干预适应机制：引入可学习的干预令牌码本，支持在未知干预目标的环境中自适应，通过梯度下降优化干预令牌以适配未见环境。
4. 拉格朗日松弛训练：解决稀疏正则化超参数敏感问题，在保证预测精度的前提下最小化因果边数量。

实验验证

在Interventional Pong、CR