ICML24最新开源时序基础模型MOMENT

论文标题：MOMENT: A Family of Open Time-series Foundation Models

论文链接：https://arxiv.org/pdf/2402.03885

前言

当前时间序列数据上预训练大型模型面临以下挑战：(1) 缺乏大型且统一的公共时间序列数据集，(2) 时间序列特征的多样性使得多数据集训练十分繁重。(3) 用于评估这些模型的实验基准仍处于起步阶段，尤其是在资源、时间和监督有限的情况下。

本文提出MOMENT，一个用于通用时间序列分析的开源基础模型家族。该模型家族中的模型：(1)处理多样化时间序列分析任务（如预测、分类、异常检测和插补等）的基础模块，(2) 可以即插即用，无需或仅需少量特定任务示例（实现零样本预测、少样本分类等），(3) 通过使用任务相关的数据进行微调，可以进一步提高性能。

本文贡献

• 数据集构建开源：编制了一个名为“The Time series Pile”的大型公共时间序列数据集合，涵盖了从医疗保健到工程、金融等多个领域的数据。The Time Series Pile 包含了来自多个不同领域的5个以上的公共时间序列数据库，用于预训练和评估模型，解决缺乏大型且统一的公共时间序列数据集问题。

• 多数据集预训练：进行大规模混合数据集预训练，探索时间序