A new boosting algorithm for improved time-series forecasting with recurrent neural networks

【未完待续】

A new boosting algorithm for improved time-series forecasting with recurrent neural networks

---

given ${x(t),x(t  1),x(t  2),. . .}$, a reasonable estimate $x'(t+h)$ of $x( t+h)$ has to be looked for, h being the number of steps ahead.
为了建立这样的模型，需要适当的函数f.
鉴于其通用近似性质，多层感知器（MLP [3]）通常在建模非线性函数f时成功。在这种情况下，将固定数量的过去值馈送到MLP的输入层，并且需要输出，以便可以预测时间序列的未来值。

在许多应用中，使用固定尺寸的时间窗已经被证明是有限制的：如果时间窗口太窄，重要的信息可能被忽略，而如果窗口太宽，则无用的输入可能会引起不必要的噪音。

理想情况下，对于给定的问题，时间窗口的大小应该适应上下文。这可以通过使用循环神经网络（RNN）[3,4]来完成，这将通过基于梯度的算法诸如反向传播通过时间（BPTT）算法来学习。可以通过几种手段改善结果。

一种方法是基于从应用领域知识获得的先验信息开发更合适的训练算法（参见例如[5]）。

In this paper we will focus on the definition of a boosting algorithm used to improve the prediction performance of RNNs.
A new parameter will be introduced, allowing regulation of the boosting effect.
在本文中，我们将重点介绍用于提高RNN的预测性能的boosting算法的定义。将引入一个新的参数，从而调节boosting的效果。

A common problem with the time series forecasting model is the low accuracy of long term forecasts.
时间序列预测模型的常见问题是长期预测的准确度低。短期来看变量的估计值可能相当可靠，但对于长期预测，估计可能不太准确。

Section 3, the ensemble methods will be reviewed before presenting the generic boosting algorithm
Section 4, the related work on regression will be presented.
Next a definition of RNNs as well as the BPTT associated learning algorithm will be provided.
The new boosting algorithm is described in Section 6
最后，在第7节中，我们将看看在三个不同的基准测试中获得的SS预测问题的实验结果，以及在两个基准测试中获得的MS预测问题的结果， 这表现出整体性能的提高。

【single-step-ahead (SS) multi-step-ahead (MS) 】（单步前进、多步前进）

---

Modelling approaches for times series

处理预测问题的最常见方法可以追溯到[7]，并且包括在构建预测时使用一个固定数字M个过去值（在时间序列上滑动的固定长度的时间窗口）：

目前大多数关于SS预测的工作依赖于[8]的结果，表明在几个假设（其中不存在噪声）的情况下，可以根据公式(1) 和 公式(2) 得到 x(t+τ) 的完美估计，如果M>=2d+1。这里的 d 是 产生时间序列的 固定引子 的规格。 在这种方法中，在滑动时间窗口中保留执行预测所需的所有过去的Memory。
An alternative solution is to keep a small length (usually M = 1) time window and enable the model to develop a memory of the past by itself. This memory is expected to represent the past information that is actually needed for performing the task more accurately.

Local and global approaches

在local方法中，为生成目标时间序列的动态系统的行为建立一个分段的近似。

首先，通过使用时间窗口技术和输出序列构建合成状态空间。
然后，一些矢量量化技术对该状态空间进行分割。
最终，为每个这样的段开发一个简单（通常是线性的）局部模型。
有局限性

本地方法在许多MS预测问题中取得了成功[12-15]，这可能是由于状态空间的量化提供的增强的鲁棒性以及所使用的局部模型的简单性的结果。

全局方式则试图对底层动态系统的整个行为范围构建单一（复杂）模型。