今天我们来聊一个新兴的、创新空间很大的方向:时间序列+预训练大模型。
预训练大模型因为在大规模多领域的数据集上进行训练,能学习到丰富的、跨领域的时间序列表示,在面对新的、没见过的时间序列数据时,它能够表现出更强的泛化性和数据处理能力,实现更高的准确性。
因此关于时间序列+预训练大模型的研究正在快速发展,并且已经在多个领域和应用中有了显著的成果,比如Chronos、清华Timer等,更有提高了42.8%性能的ViTST。
如果有同学有想法发论文,可以从零样本和通用性下手,这俩是这个方向关注的重点。另外为方便大家找参考,我整理了10个时间序列+预训练大模型最新成果,全都已开源可复现。
论文原文+开源代码需要的同学看文末
Time Series as Images: Vision Transformer for Irregularly Sampled Time Series
方法:论文介绍了一种新颖的方法,通过将非规则采样的时间序列转换为线图图像,然后利用预训练的ViT进行时间序列分类,类似于图像分类。该方法不仅简化了专门的算法设计,还具有成为时间序列建模的通用框架的潜力。
创新点:</