论文阅读 - 《Large Language Models Are Zero-Shot Time Series Forecasters》

Abstract

通过将时间序列编码为数字组成的字符串，我们可以将时间序列预测当做文本中下一个 token预测的框架。通过开发这种方法，我们发现像GPT-3和LLaMA-2这样的大语言模型在下游任务上可以有零样本时间序列外推能力上持平或者超过专门设计的时间序列训练模型。为了促进这种性能表现，我们提出了一种有效token化时间序列并将token上的离散分布转换为在连续数值上高度灵活的密度的方法。我们认为大语言模型在时间序列上的成功源于它们可以自然的表达多模态分布的能力，以及为了简单而出现的偏差和重复，这与许多时间序列中的显著特征类似，例如重复的季节趋势。我们同样展示了大预言模型如何做到在不通过非数字文本进行插补的情况下自然的处理缺失的数据，适应文本的便捷信息，并且回答问题以帮助解释预测。同时我们发现日益增大的模型体积有助于改进其在时间序列上的性能表现，我们也展示了GPT4由于其不同对数字的token化方式以及较差的不确定性校准而表现要比GPT3要差，这可能是类似于RLHF这样的对齐机制干预的结果。

提出的方法

Tokenization

将每个数字用空格分开，并在每个时间节点之间用,分隔，小数点在给定固定精度情况是多余的，可以使用特定的编码方式去掉小数点以节省上下文长度。例如：
$$0.123,1.23,$$