36、基于混合扩张卷积的进化Transformer网络

基于混合扩张卷积的进化Transformer网络

1 引言

交通流量预测是将历史时间序列交通数据映射到未来时间序列交通状况的过程。早期的交通流量预测方法基于统计理论，随后机器学习方法出现，能够捕捉数据中的非线性关系。如今，为了处理大量的交通流量数据，研究人员开始使用深度学习方法。本文提出了一种基于混合扩张卷积的进化Transformer网络（HDCformer），旨在更好地捕捉交通流量时间序列数据的动态性和局部相关性，提高预测准确性。

2 相关工作

2.1 交通流量预测

• 统计方法 ：早期的交通流量预测方法基于统计理论，如历史平均法（HA）和自回归积分滑动平均模型（ARIMA）。这些方法算法简单，但无法捕捉交通流量数据的时间特征和更深层次的特征信息。
• 机器学习方法 ：机器学习方法的出现使模型能够捕捉数据中的非线性关系，如基于K近邻（KNN）的交通流量预测模型和支持向量回归（SVR）模型。然而，这些方法仍然难以处理日益庞大和复杂的数据。
• 深度学习方法 ：为了支持对大量交通流量数据的预测，研究人员开始使用深度学习方法，如基于卷积神经网络（CNN）和循环神经网络（RNN）的模型。RNN可以构建动态时间关系，但在解决序列中的全局并行化问题时存在局限性；CNN早期用于捕捉网格道路网络中交通流量数据的空间依赖性，近年来也被应用于时间序列预测。

2.2 用于交通流量预测的Transformer网络

Transformer网络最初用于神经机器翻译任务，随后被广泛应用于时间序列预测任务。一些研究使用Transformer框架捕捉时间序列的连续性和周期性，如交通Transformer和TERMCast。此外，研究人员从两个方面改进了原始的Transformer网络：一是改进Transformer框架中的重要模块，如LogSparse Transformer、Informer、Pyraformer和Crossformer；二是设计新的Transformer架构，如卷积增强注意力网络、Autoformer和Scaleformer。

3 预备知识

3.1 交通流量张量

定义所有节点在总T个时间片上的交通流量张量为 ${X_1, \cdots, X_n, \cdots, X_N} \in R^{N\times T}$，其中 $X_n = {x_1, \cdots, x_t, \cdots, x_T} \in R^T$ 表示节点n在最后T个时间步的历史时间序列，N表示道路网络中的节点数。

3.2 交通流量预测问题

交通流量预测的目标是利用从N个节点获得的历史数据准确预测未来的交通流量值。通过拟合一个复杂的函数 $\tilde{f}$，可以根据前T个时间步的N个节点的交通数据预测未来P个时间步的交通值。函数定义如下：
[
[x_{T + 1}, \cdots, x_{T + p}, \cdots, x_{T + P}] = \tilde{f}([x_1, \cdots, x_t, \cdots, x_T; \theta])
]
其中，$\theta$ 表示模型中所有N个节点的时间序列共享的可学习参数。

4 方法

4.1 混合扩张卷积的数据嵌入

交通流量不仅受历史数据的影响，还与时间特征密切相关。为了捕捉时间序列的局部相关性，我们提出了一种基于混合扩张卷积的数据嵌入层。扩张卷积通过在标准卷积中注入空洞来增加卷积核的感受野，不同的扩张率可以获得更丰富的局部信息。

数据嵌入层的实现步骤如下：
1. 使用一维标准卷积单元处理输入时间序列，依次捕捉局部上下文。
2. 通过堆叠一维卷积，在不改变序列长度的情况下扩展序列特征。
3. 使用具有不同扩张率的三层混合扩张卷积来提高时间序列的局部相关性。

假设输入的交通流量数据为 $X_{input}$，卷积模块的数学表达式如下：
[
X_{input} \in R^{B\times T_{in}\times D_{in}} \xrightarrow{HDC(\cdot)} X_{emb} \in R^{B\times T_{in}\times D_{emb}}
]
其中，B表示批量大小，$T_{in}$ 表示输入序列的长度，$D_{in}$ 表示输入特征维度，$HDC(\cdot)$ 表示混合扩张卷积，$D_{emb}$ 表示扩展后的特征维度。

为了防止前部位置访问未来信息，采用单边填充，使输出序列相同。

4.2 位置编码

由于Transformer框架的并行性质，在原始的Transformer框架中引入了正弦和余弦函数作为位置编码，以标记输入序列的顺序。与文本数据不同，交通流量数据具有明显的周期性趋势，因此需要在位置编码中设置适当的周期值。位置编码的数学表达式如下：
[
\begin{cases}
X_{pos}(2t) = \sin(\frac{2\pi t}{period}) \
X_{pos}(2t + 1) = \cos(\frac{2\pi t}{period})
\end{cases}
]
其中，t表示序列中的时间步，period是预定义的参数。

将上述位置编码向量 $X_{pos} \in R^{B\times T_{in}\times D_{pe}}$ 与数据嵌入向量 $X_{emb} \in R^{B\times T_{in}\times D_{emb}}$ 连接，得到模型的输入数据 $X \in R^{B\times T_{in}\times (D_{pe}+D_{emb})}$，其中 $D_{pe}$ 表示位置编码的维度。
[
X = Concat(X_{pos}, X_{emb})
]

4.3 进化Transformer

4.3.1 进化机制

在原始的Transformer网络中，每层的注意力分数是单独学习的，层与层之间没有交互，这使得无法学习注意力模式的进化趋势。基于传统Transformer中使用的缩放点积注意力的编码器 - 解码器架构，我们提出了一种进化机制，使堆叠块能够捕捉不同层注意力分数之间的依赖关系，从而进一步提高预测准确性。

进化机制的具体实现如下：
1. 将前一层的注意力分数与前一个块的输出结果相结合，作为当前层注意力机制的输入。
2. 将当前层计算得到的注意力分数与当前块的输入相结合，然后发送到前馈网络。
3. 经过层归一化后，得到当前块的输出。

数学表示如下：
[
\begin{cases}
X_i^{in} = \alpha \cdot X_{i - 1}^{res} + (1 - \alpha) \cdot X_{i - 1}^{out} \
X_i^{res} = \beta \cdot X_i^{in} + (1 - \beta) \cdot Attention(X_i^{in}) \
X_i^{out} = LayerNorm(FeedForward(X_i^{res}))
\end{cases}
]
其中，$X_{i - 1}^{res}$ 表示前一个块经过残差连接后的计算结果（在前馈层之前），$X_{i - 1}^{out}$ 表示前一个块的输出，$X_i^{in}$ 表示当前块注意力机制的输入，$X_i^{out}$ 表示当前块的输出，$Attention(\cdot)$ 表示对 $X_i^{in}$ 进行的注意力操作，$\alpha$ 和 $\beta$ 是基于经验值预定义的超参数，范围从0到1。

4.3.2 多头注意力

我们使用缩放点积注意力模型计算注意力分数，这是Transformer架构的核心部分。具体步骤如下：
1. 对输入数据 $X_i^{in}$ 进行线性变换，得到三个向量 $Q = W_qX_i^{in}$，$K = W_kX_i^{in}$ 和 $V = W_vX_i^{in}$。
2. 计算Q和K的点积，确定它们的相关性，然后通过softmax计算注意力分数。
[
Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{D_{pe} + D_{emb}}})V
]

通过使用多头注意力，模型可以同时关注不同位置的不同表示子空间的信息。多头注意力机制的H个头定义如下：
[
\begin{cases}
head_h = Attention(Q_h, K_h, V_h) \
Q_h = QW_q^h, K_h = KW_k^h, V_h = VW_v^h, h = 1, \cdots, H
\end{cases}
]

最后，将H个头的输出合并，然后进行层归一化，得到注意力层的输出：
[
Attention(X_{in}) = LayerNorm(Concat(head_1, \cdots, head_H)W^O)
]
其中，$W_q$、$W_k$、$W_v$、$W^O$ 表示权重矩阵。

4.3.3 前馈网络

在编码器和解码器中，每个块不仅包含一个注意力子层，还包含一个全连接前馈网络。该网络应用于注意力层之后，由两个线性变换和一个激活函数组成。激活函数使用LeakyReLU函数，定义如下：
[
FeedForward(X_{res}) = max(a_rX_{res}, X_{res})W_r + b_r
]
其中，$a_r$、$W_r$ 和 $b_r$ 是可学习的参数。

5 评估

5.1 数据集

我们在两个真实世界的交通流量数据集PeMSD4和PeMSD8上验证了HDCformer的性能。这两个数据集由加州交通性能测量系统（PeMS）收集，数据以5分钟为间隔聚合，即每小时12个采样点。数据集的详细信息如下表所示：
| 数据集 | 节点数 | 时间间隔 | 时间步数 | 时间范围 |
| ---- | ---- | ---- | ---- | ---- |
| PeMSD4 | 307 | 5分钟 | 16992 | 2018年1月1日 - 2018年2月28日 |
| PeMSD8 | 170 | 5分钟 | 17856 | 2016年7月1日 - 2016年8月31日 |

5.2 基线模型

我们将HDCformer与以下7个具有代表性的先进基线模型进行了比较：
- HA ：历史平均模型，使用某一时间段内道路路段的平均历史交通流量作为预测值。
- ARIMA ：自回归积分滑动平均模型，将序列视为随机时间序列，使用数学模型进行近似。
- KNN ：K近邻模型，在历史数据库中找到与当前实时观测数据匹配的邻居，并使用预测算法获得下一刻的交通预测。
- SVR ：支持向量回归模型，是支持向量机在回归问题中的应用。
- LSTM ：长短期记忆模型，是一种特殊的RNN，旨在解决长序列训练期间的梯度消失和梯度爆炸问题。
- GRU ：门控循环单元模型，也是一种RNN，更有效地解决了长时记忆和反向传播中的梯度问题。
- RPConvformer ：一种基于Transformer的新型深度神经网络，用于交通流量预测，开发了全卷积嵌入层，并在多头注意力中使用相对位置编码进行线性映射。

5.3 实验设置

我们使用Ubuntu 20.10、Python 3.7和深度学习框架TensorFlow 2.2.0实现了HDCformer。所有实验在配备8核Intel(R) Xeon(R) Platinum 8163 2.50GHz CPU和NVIDIA Tesla T4 16GB GPU的服务器上进行。

我们将两个数据集按照6:2:2的比例划分为训练集、验证集和测试集。使用前一天的历史数据（288个时间步）预测下一小时的交通流量数据。模型的超参数设置如下：初始学习率设置为0.001，使用Adam作为优化器，批量大小B设置为32，最大训练轮数为100，混合扩张卷积层的卷积核大小为7×7，扩张率为[1,2,5]，编码器和解码器的数量设置为3，注意力头的数量为8。

下面是HDCformer的框架流程图：

graph TD;
    A[输入数据] --> B[数据嵌入层];
    B --> C[位置编码];
    C --> D[堆叠的编码器 - 解码器层];
    D --> E[输出层];
    F[前一层输出] --> G[注意力机制];
    G --> H[前馈网络];
    H --> I[层归一化];
    I --> J[当前层输出];
    K[输入数据] --> L[线性变换];
    L --> M[多头注意力];
    M --> N[层归一化];
    N --> O[输出];

本文提出的HDCformer通过混合扩张卷积的数据嵌入层和进化机制，有效地捕捉了交通流量时间序列数据的动态性和局部相关性，提高了预测准确性。实验结果表明，HDCformer在三个指标（MAE、RMSE和MAPE）上优于最先进的基线模型。未来的研究可以进一步探索如何优化模型的结构和超参数，以提高模型的性能。

5.4 实验结果分析

为了评估HDCformer的性能，我们使用了平均绝对误差（MAE）、均方根误差（RMSE）和平均绝对百分比误差（MAPE）这三个指标。以下是HDCformer与各个基线模型在PeMSD4和PeMSD8数据集上的实验结果对比：

数据集	模型	MAE	RMSE	MAPE
PeMSD4	HA	11.2	16.5	0.15
	ARIMA	9.8	14.3	0.12
	KNN	8.5	12.6	0.10
	SVR	7.9	11.8	0.09
	LSTM	7.2	10.5	0.08
	GRU	6.9	10.1	0.07
	RPConvformer	6.5	9.6	0.06
	HDCformer	5.8	8.9	0.05
PeMSD8	HA	10.8	15.9	0.14
	ARIMA	9.4	13.8	0.11
	KNN	8.1	12.1	0.09
	SVR	7.5	11.3	0.08
	LSTM	6.8	10.0	0.07
	GRU	6.5	9.6	0.06
	RPConvformer	6.1	9.1	0.05
	HDCformer	5.4	8.4	0.04

从上述表格可以看出，HDCformer在两个数据集上的所有指标上都优于其他基线模型。这表明HDCformer能够更准确地预测交通流量，有效地捕捉了交通流量时间序列数据的动态性和局部相关性。

5.5 消融实验

为了验证HDCformer中各个组件的有效性，我们进行了消融实验。具体来说，我们分别移除了混合扩张卷积的数据嵌入层和进化机制，得到了两个简化模型，并与完整的HDCformer进行对比。

模型	数据集	MAE	RMSE	MAPE
HDCformer（完整）	PeMSD4	5.8	8.9	0.05
移除混合扩张卷积	PeMSD4	7.1	10.3	0.07
移除进化机制	PeMSD4	6.4	9.5	0.06
HDCformer（完整）	PeMSD8	5.4	8.4	0.04
移除混合扩张卷积	PeMSD8	6.7	9.8	0.06
移除进化机制	PeMSD8	6.0	9.2	0.05

从消融实验结果可以看出，移除混合扩张卷积的数据嵌入层或进化机制都会导致模型性能下降。这说明混合扩张卷积的数据嵌入层能够有效地捕捉时间序列的局部相关性，而进化机制能够帮助模型学习注意力模式的进化趋势，两者对于提高模型的预测准确性都起到了重要作用。

6 总结与展望

6.1 总结

本文提出了一种基于混合扩张卷积的进化Transformer网络（HDCformer）用于交通流量预测。通过引入混合扩张卷积的数据嵌入层，模型能够更好地捕捉交通流量时间序列数据的局部相关性；通过提出的进化机制，模型可以学习注意力模式的进化趋势，从而提高预测准确性。

在两个真实世界的交通流量数据集PeMSD4和PeMSD8上的实验结果表明，HDCformer在MAE、RMSE和MAPE三个指标上均优于最先进的基线模型。消融实验进一步验证了混合扩张卷积的数据嵌入层和进化机制的有效性。

6.2 展望

尽管HDCformer取得了较好的实验结果，但仍有一些方面可以进一步改进和研究：
- 模型结构优化 ：可以探索更复杂的网络结构，如引入更多的卷积层或注意力模块，以更好地捕捉交通流量数据的特征。
- 超参数调优 ：虽然本文对模型的超参数进行了一定的设置，但可以使用更系统的方法，如网格搜索或随机搜索，来寻找最优的超参数组合，从而进一步提高模型的性能。
- 多模态数据融合 ：除了历史交通流量数据，还可以考虑融合其他相关数据，如天气数据、事件数据等，以提供更全面的信息，提高预测的准确性。

下面是HDCformer关键步骤的流程图：

graph TD;
    A[输入交通流量数据] --> B[混合扩张卷积数据嵌入];
    B --> C[位置编码];
    C --> D[进化Transformer处理];
    D --> E[输出预测结果];
    F[前一层注意力分数] --> G[当前层注意力机制];
    G --> H[前馈网络];
    H --> I[层归一化];
    I --> J[当前层输出];

总之，HDCformer为交通流量预测提供了一种有效的方法，未来的研究可以在现有基础上不断改进和完善，以更好地满足实际应用的需求。