30、时间序列深度学习：从卷积到循环神经网络

时间序列深度学习：从卷积到循环神经网络

1. 验证损失与常识基线

在时间序列的深度学习中，部分验证损失接近无学习基线，但并不稳定。这凸显了设置基线的重要性，因为事实证明，超越这个基线并非易事。常识中蕴含着大量机器学习模型无法获取的有价值信息。

我们可能会疑惑，既然存在一个从数据到目标的简单且表现良好的模型（即常识基线），为什么训练的模型却无法找到并改进它呢？这是因为我们搜索解决方案的模型空间，也就是假设空间，是所有具有特定配置的两层网络的集合。常识启发式方法只是这个空间中数百万种可能模型之一，就像大海捞针一样。即使理论上假设空间中存在一个好的解决方案，也不意味着能通过梯度下降找到它。

这反映了机器学习的一个重大局限性：除非学习算法被硬编码为寻找特定类型的简单模型，否则有时可能无法为简单问题找到简单的解决方案。因此，利用良好的特征工程和相关的架构先验知识至关重要，我们需要精确地告诉模型应该寻找什么。

2. 尝试一维卷积模型

考虑到输入序列具有每日周期的特点，或许卷积模型会有不错的效果。时间卷积网络可以在不同日期重用相同的表示，就像空间卷积网络可以在图像的不同位置重用相同的表示一样。

除了熟悉的 Conv2D 和 SeparableConv2D 层，还有一维和三维版本的卷积层，如 Conv1D、SeparableConv1D 和 Conv3D。Conv1D 层依赖于在输入序列上滑动的一维窗口，而 Conv3D 层依赖于在输入体积上滑动的立方体窗口。

一维卷积网络与二维卷积网络严格类似，非常适合遵循平移不变性假设的序列数据（即当在序列上滑动窗口时，窗口内容的属性应与窗口位置无关）。