高维多变量下的Transformer时序预测建模方法

今天给大家介绍一篇CIKM 2024中的时间序列预测工作，这篇文章针对高维多变量时序预测问题，提出了一种基于Transformer的建模方法。

论文标题：Scalable Transformer for High Dimensional Multivariate Time Series Forecasting

下载地址：https://arxiv.org/pdf/2408.04245v1

1

背景

现在的时间序列预测主要研究点都是如何扩长能够建模的历史长度和未来长度，也就是时间维度上的扩展。比较少的工作研究如何建模变量维度上的扩展。

在多变量时间序列建模中，现在的方法主要集中在channel-independ和channel-depend两种方式上。后者虽然能考虑到变量间的关系，理论上界更高，但是实际应用中效果往往会比channel-independ方法效果差。特别是当变量维度增大后，这种效果差异更加明显。

例如文中通过实验验证，Crossformer、iTransformer等channel-independ建模方法，相比PatchTST等channel-independ建模方法，在高维多变量时序预测中平均会差19%。

文中在一个数据集上验证了Crossformer、iTransformer等channel-depend建模方法中，选择变量的数量对效果的影响。选择的变量按照和目标序列的相关系数进行排序，先引入相关度最高的，后引入相关度低的。从图中可以看出，当选择50%的最高相关性变量建模时，效果达到最好，说明引入多变量间关系建模确实可以提升效果。但是当进一步引入更多变量时，效果开始下降。