2025_NIPS_Diffusion Transformers as Open-World Spatiotemporal Foundation Models

文章核心总结与翻译

一、主要内容

本文提出了一种基于扩散Transformer（Diffusion Transformers）的开放世界城市时空基础模型UrbanDiT，旨在解决城市环境中复杂时空动态的建模问题。城市时空数据存在网格型（如人群流动数据）和图结构型（如交通速度数据）等多种类型，且需支持预测、插值、外推、补全等多类任务，现有模型往往局限于特定数据类型或单一任务。

UrbanDiT通过以下核心设计实现通用化建模：

1. 数据统一：将网格型和图结构型数据转换为统一的序列格式，适配Transformer架构；
2. 任务适配：采用统一掩码策略，通过不同掩码模式将各类时空任务转化为数据重建问题；
3. 提示学习框架：设计数据驱动提示（从时间域、频率域、空间域记忆池提取特征）和任务特定提示（基于掩码生成），提升模型对异质数据和多任务的适配能力；
4. 扩散Transformer骨干：结合扩散模型的生成能力与Transformer的灵活性，高效捕捉复杂时空依赖。

实验验证了UrbanDiT在多城市、多类型数据集上的 superiority，涵盖双向时空预测、时间插值、空间外推、时空补全等任务，且零样本和少样本性能优于多