【论文精读】Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time

介绍

Series Forecasting（多元概率时间序列预测的自回归去噪扩散模型）

提出了自回归EBMs（基于能量的模型，通过一个称为TimeGrad的模型来解决多元概率时间序列预测问题，利用RNN+扩散模型结合捕获时间序列特征。不仅能够用概率时间序列预测的所有归纳偏差来训练这样一个模型，而且与其他现代方法相比，该模型表现得非常好。

提出的imeGrad模型（作者自己起的名字），其目的是学习多元时间序列未来时间步的条件分布模型，考虑到其过去值和协变量，如下所示：

使用的协变量ct由时间相关的（例如，一周中的一天、一天中的一小时）和时间无关的嵌入（如果适用）以及滞后特征组成，这取决于我们正在培训的数据集的时间频率。因此，对于我们希望预测的时期，所有协变量都是已知的。

训练算法

利用LSTM（Hochreiter&Schmidhuber，1997）或GRU（Chung et al.，2014）通过更新的隐藏状态ht对时间点t之前的时间序列进行编码，给定协变量ct的·条件下：

极大似然估计：

训练完成后的逆采样算法：

在6个数据集上进行了测试

网络结构

结果表明

扩散过程长度N=2，4，8，…，的电数据集的测试集CRPSsum，256同时保持所有其他超参数不变。然后将结果绘制在图3中，我们注意到N可以减少到≈ 10无重大性能损失。在N处达到最佳值≈ 如果所有其他因素都保持不变，则100及以上的水平都是不利的。

神经时间序列方法最近已成为通过单变量点预测方法（Oreshkin et al.，2020；Smyl，2020）或单变量概率方法（Salinas et al.，2019b）解决预测问题的流行方法。在多变量环境中，我们还有点预测方法（Lai et al.，2018；Li et al.，2019）以及概率方法，如该方法，该方法使用高斯copulas（Salinas et al.，2019a）、GANs（Y oon et al.，2019）或归一化流（de B´ezenac et al.，2020；Rasul et al.，2021）明确建模数据分布。贝叶斯神经网络也可用于在预测中提供认知不确定性，以及检测分布变化（Zhu&Laptev，2018），尽管这些方法通常在经验上表现不佳（Wenzel等人，2020）。

结果展示

下载论文的Github源码实现股票预测：