预训练促进时空预测

今天给大家带来一篇IJCAI 2024的论文，它基于时空数据的“异质性”特点定制了时空解耦预训练框架，以促进时空数据预测。

论文标题：Spatial-Temporal-Decoupled Masked Pre-training for Spatiotemporal Forecasting

单位：东京大学、南方科技大学、悉尼科技大学

下载地址：https://arxiv.org/pdf/2312.00516

代码地址：https://github.com/ Jimmy-7664/STD-MAE

1 背景

传感器网络收集的时空数据已成为具有许多实际应用的重要研究领域。它受益于额外的空间环境，如传感器位置和道路网络，揭示了传感器之间的依赖关系。因此，与典型多元时间序列的一个关键区别是时空数据表现出时空异质性。

时空预测的准确性面临以下挑战：

1. 时间异质性：如（a）所示，工作日存在明显的早高峰，而周末流量则相对均匀，无显著高峰，体现了每周模式的时间异质性。

2. 空间异质性：如（b）所示，传感器 5 和 177 显示出明显的波峰和波谷，而传感器 86 和 155 则全天保持相对稳定，展现出空间异质性。

3. 时空幻觉：如（c）所示，现有端到端模型由于输入范围较短，容易产生“时空幻觉”现象，即不同输入预测相似结果，或相似输入预测不同结果，难以捕捉完整的时空异质性。

2 建模方法

文章提出了一种新颖的时空解耦掩模预训练框架，称为 STD-MAE。它为通过预训练学习清晰完整的时空异质性提供了有效且高效的解决方案。

（1）时空掩码预训练

通过空间掩码 (S-Mask) 随机掩盖部分传感器的数据，以及时间掩码 (T-Mask) 随机掩盖部分时间步的数据，分别对时间和空间进行解耦掩码，实现模型预训练。

掩码后的时空数据分别输入时间自编码器(T-MAE)和空间自编码器(S-MAE)。S-MAE沿着空间维度应用自注意力，而T-MAE沿着时间维度执行自注意力。然后将轻量级解码器应用于 S-MAE 和 TMAE 以重建屏蔽输入。

（2）下游的时空预测

• 时空解耦掩码自动编码器 (STD-MAE) 的空间和时间表示通过与短期输入的组合来增强下游预测的性能。

• 增强表征H(Aug)包含了长时间依赖的时空特征和短期特征，输入GWNet 等预测模型中进行预测。

3 实验结果

STD-MAE 在 6 个数据集进行了全面的实验，证明了其能够增强下游预测。

通过实例学习证明了STD-MAE 通过预训练学习了丰富的时空表示（图5）；显着增强了GWNet区分异质性引起的时空幻觉的能力（图6）。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。