时序论文23｜ICML24谷歌开源零样本时序大模型TimesFM

论文标题：A DECODER - ONLY FOUNDATION MODEL FOR TIME - SERIES FORECASTING

论文链接：https://arxiv.org/abs/2310.10688

论文链接：https://github.com/google-research/timesfm

前言

谷歌这篇时间序列大模型很早之前就在关注，今天搜索了一下，对应的文章入选了ICML24，其开源的代码github已经有3.5K star。据论文中的描述，TimesFM模型在各种公共数据集上的即插即用零样本性能接近于每个单独数据集的最先进监督预测模型的准确性。TimesFM在参数数量（2亿）和预训练数据规模（约100B个时间点）上更为紧凑。

此外，模型基于预训练的解码器（Decoder Only），使用输入patch，利用包括真实世界和合成数据集在内的大型时间序列数据进行训练。TimesFM能够适应不同的预测历史长度、预测长度和时间粒度。模型的核心包括：1）一个大规模时间序列语料库，结合了真实数据和合成数据；2）解码器风格注意力架构。

本文模型

基本模型设计：

分块（Patching）。选择在训练期间将时间