AutoTimes: Autoregressive Time Series Forecasters via Large Language Models-优快云博客

本文是LLM系列文章，针对《AutoTimes: Autoregressive Time Series Forecasters via Large Language Models》的翻译。

AutoTimes:通过大型语言模型的自回归时间序列预测

摘要
1 引言
2 相关工作
3 方法
4 实验
5 结论

摘要

由于大规模时间序列的可用性有限以及可扩展预训练的开发不足，时间序列的基础模型尚未完全开发。基于时间序列和自然语言的相似序列结构，越来越多的研究证明了利用大型语言模型（LLM）处理时间序列的可行性。然而，现有的方法可能会忽视时间序列和自然语言的一致性，导致LLM潜力的利用不足。为了充分利用从语言建模中学习到的通用token转换，我们建议AutoTimes将LLM重新用作自回归时间序列预测器，这与LLM的获取和利用一致，而无需更新参数。由此产生的预测器可以处理灵活的序列长度，并实现与流行模型一样具有竞争力的性能。此外，我们提出了利用相应时间戳的token提示，使我们的方法适用于多模态场景。分析表明，我们的预测者继承了LLM的零样本和上下文学习能力。从经验上讲，AutoTimes表现出显著的方法通用性，并通过基于更大的LLM、额外的文本或时间序列作为指令来实现增强的性能。

1 引言

2 相关工作

3 方法

4 实验

5 结论

基于模态和任务目标的共同性，大型语言模型自然成为时间序列的基础模型。与以前利用训练、推理和参数不一致的LLM的方法不同，我们的方法通过下一个token预测建立了时间序列的类似tokenizer，采用相同的自回归生成进行推理，并冻结LLM的块以充分利用固有的token转换。在实验上，我们重新调整用途的预测器展示了与现有基准相比具有竞争力的结果，并在处理可变序列长度方面表现出了熟练程度。进一步的