时空基础模型综述：从数据到模型的全流程解析

关注

转载 2025-06-30 10:43:18 538 阅读 AI 写同款· GEO 优化 ›

《遥感大模型时空建模技术系列1-遥感时空数据预处理全流程标准化指南》本指南旨在为遥感时空建模领域的数据预处理工作提供一个全面、系统、可操作的标准化框架。遥感数据固有的异构性、多源性和不完整性，是制约时空大模型性能的关键瓶颈。本文严格遵循“输入决定输出”的原则，从数据获取、元数据管理、辐射与几何标准化、时序清洗修复，到最终的质量评估与自动化工作流构建，制定了详细的操作规程、量化指标和最佳实践。通过遵循本指南，从业者能够将原始、混乱的卫星数据，转化为高质量、分析就绪的时空数据集，从而为后续的模型训练与精准预测奠定坚实的基础，显著提升科研与工程项目的效率与可靠性。阅读详情

原文章链接：时空基础模型综述：从数据到模型的全流程解析

论文标题：Unraveling Spatio-Temporal Foundation Models via the Pipeline Lens: A Comprehensive Review

作者：Yuchen Fang（方雨晨）, Hao Miao（缪浩）, Yuxuan Liang（梁宇轩）, Liwei Deng（邓力玮）, Yue Cui（崔越）, Ximu Zeng（曾曦霂）, Yuyang Xia（夏宇阳）, Yan Zhao（赵艳）, Torben Bach Pedersen, Christian S. Jensen, Xiaofang Zhou（周晓方）, Kai Zheng（郑凯）

机构：电子科技大学，奥尔堡大学（AAU），香港科技大学（广州），香港科技大学

论文链接：https://arxiv.org/abs/2506.01364

Github仓库：https://github.com/LMissher/Awesome-Spatio-Temporal-Foundation-Models

TL; DR: 本文综述了时空基础模型（STFMs），涵盖数据预处理、模型设计、训练目标和迁移适应技术等方面，提出了数据属性分类法，讨论了模型在多领域的应用，并展望了未来研究方向，旨在提升模型性能和适用性。

关键词：时空基础模型，Pipeline，「数据来源 - 依赖关系 - 模态」分层分类

时空数据建模通用需求

在智能交通、气象预测、能源网络等关键领域，时空数据呈现高维动态性（如路网轨迹的时空耦合、气象场的多尺度演变）与任务多样性（预测、补全、异常检测等）。传统「一对一」模型面临两大痛点：

重复开发成本高：每个任务需独立训练，资源浪费显著；
泛化能力局限：跨域迁移需重构模型，难以应对数据分布差异。

时空基础模型（STFMs） 通过「单一模型解决多任务」的通用框架，成为破局关键。其核心思想如下图所示：通过学习原生时空基础模型或迁移其他领域预训练基础模型，实现「一次训练，多域部署」。

时空基础模型学习难点

待探索的数据与模型联系：如上表所示，尽管已有综述按数据类型对时空基础模型进行介绍，但往往忽视了数据对齐中的关键步骤（如嵌入技术），这使得时空数据如何有效对接基础模型变得模糊。
数据属性视角缺失：目前研究大多直接粗粒度的将基础模型进行分类（例如基于数据类型或深度学习方法），但未解释为何相似方法被应用于具备共性的数据类型，忽略了从数据属性出发进行模型选择或设计的深入洞见。
零散内容：时空数据、基础模型、训练目标与迁移适应技术往往被孤立讨论，导致学者难以系统理解在不同任务、数据集与实际场景中应选用哪些模型、目标与策略。

综述主要贡献

全面且最新的综述：本文提供了当前最系统的时空基础模型综述，涵盖数据类型、模型、训练目标和适配技术等广泛内容。
创新的数据属性分类体系：首次提出按「数据来源 - 依赖关系 - 模态」分层分类法，从粗到细的将时空基础模型进行分类，有助于高效模型设计与选择。
首次基于流程视角的综述：据我们所知，本文是首个从流程出发系统分析时空基础模型的综述，有助于理解模型为何表现优越、如何构建。
未来研究方向的识别：我们总结了时空基础模型当前应用中的关键挑战，并提出了未来研究的潜在机遇，激励后续更先进模型的发展。

技术框架：数据 - 模型 - 应用的三维技术栈

时空基础模型按「数据来源 - 依赖关系 - 模态」分层分类如下图所示，其主要涵盖内容如下：

数据调和层：从原始数据到语义表征的标准化流水线

轨迹数据：通过地图匹配（Map-Matching）修正 GPS 噪声，利用旋转位置嵌入（Rotary Position Embedding）保留时空相对关系；
事件数据：构建时序知识图谱（TKG），通过大语言模型（LLM）推理事件因果链；
时空网格数据：采用 3D 分块（3D Patching）降低空间分辨率，结合傅里叶变换（FFT）分离季节趋势；
时空图数据：核心预处理技术包括时序分解、时空 Patching 以及时空嵌入。
视频数据：预处理核心目标是适配预训练视觉模型输入格式、压缩冗余信息及保留时空语义；
特征增强技术：引入 POI 类别、天气等外源信息，通过跨模态对齐（如 CLIP 的图文对比学习）提升表征丰富度。
常用时空数据集如下表所示

模型架构层：基于数据属性的精细化建模

时空原生模型（Primitive Models）：

- 时序模型：Transformer + 分块嵌入（Patch Embedding）捕捉长程依赖（如 UniTraj 用于轨迹预测）；
- 空间模型：视觉 Transformer（ViT）结合图神经网络（GNN）建模全局空间关联（如 G2PTL 融合注意力矩阵与路网拓扑）；
- 时空联合模型：时空 Transformer 融合卷积与自注意力（如 MSTEM 用于事件预测）

时空迁移模型（Transferred Models）：

- 视觉迁移：ViT 预训练模型提取视频帧特征，通过 Q-Former 适配语言模型（如 BLIP 用于视频问答）；
- 语言迁移：LLaMA 通过提示工程（Prompt Engineering）将数值数据转为文本序列（如 “时间戳 + 位置 + 流量” 模板）；
- 多模态迁移：UrbanCLIP 通过预训练多模态模型生成文本描述，以进行图文对比学习生成城市区域语义向量，支持犯罪预测等下游任务。
训练与适配层：自监督学习与预训练迁移
- 自监督目标设计：
- 回归建模： autoregressive 预测未来（如 FourCastNet 迭代生成气象序列）