LightGBM+Transformer-GRU多变量回归交通流量预测,附模型研究报告(Matlab)-优快云博客

本文链接：https://blog.youkuaiyun.com/matlab_dingdang/article/details/147169422

✅作者简介：热爱数据处理、建模、算法设计的Matlab仿真开发者。

🍎更多Matlab代码及仿真咨询内容点击 🔗：Matlab科研工作室

🍊个人信条：格物致知。

🔥 内容介绍

摘要: 交通流量预测是智能交通系统(ITS)的核心组成部分，对于交通管理、交通规划和出行者信息服务至关重要。传统的统计模型和浅层机器学习模型难以捕捉交通流量数据复杂的时空依赖关系和非线性特征。近年来，深度学习模型，特别是循环神经网络(RNN)及其变体，在时间序列预测任务中表现出显著优势。本文提出一种基于 LightGBM 与 Transformer-GRU 混合模型的多变量回归交通流量预测方法。该方法首先利用 LightGBM 模型挖掘交通流量数据中与预测目标高度相关的静态特征和非线性关系；然后，将 LightGBM 的预测结果与原始交通流量数据相结合，作为 Transformer-GRU 模型的输入，以捕捉交通流量数据的长程时间依赖关系和多变量之间的关联性。实验结果表明，本文提出的混合模型在交通流量预测精度上显著优于传统的统计模型和单一深度学习模型，为提高交通流量预测的准确性和可靠性提供了新的思路。

1. 引言

交通流量预测是现代城市交通管理的关键环节，其准确性直接影响着交通控制策略的制定、出行者路径规划以及交通资源分配的效率。长期以来，交通流量预测的研究主要依赖于传统的统计模型，如历史平均模型、时间序列模型(ARIMA)等。这些模型虽然计算简单，但其预测精度往往受到线性假设的限制，难以有效捕捉交通流量数据复杂的非线性特征和时空依赖关系。

随着机器学习和深度学习技术的快速发展，涌现出大量基于机器学习的交通流量预测模型。这些模型，如支持向量机(SVM)、神经网络(ANN)等，能够更好地处理交通流量数据中的非线性关系，但在处理时间序列数据时，仍存在一定的局限性。循环神经网络(RNN)作为一种专门用于处理时间序列数据的深度学习模型，在交通流量预测领域得到了广泛应用。然而，传统的 RNN 模型存在梯度消失和梯度爆炸的问题，难以捕捉长程时间依赖关系。

为了克服 RNN 的局限性，研究人员提出了 LSTM 和 GRU 等改进的 RNN 模型。GRU (Gated Recurrent Unit) 作为 LSTM 的简化版本，在保持相似性能的同时，具有更少的参数，训练速度更快。此外，近年来兴起的 Transformer 模型凭借其强大的注意力机制，在处理长程依赖关系方面表现出卓越的性能。

本文旨在提出一种结合 LightGBM 和 Transformer-GRU 模型的混合方法，以提高交通流量预测的精度和鲁棒性。LightGBM 能够有效地挖掘交通流量数据中与预测目标高度相关的静态特征和非线性关系，而 Transformer-GRU 模型能够捕捉交通流量数据的长程时间依赖关系和多变量之间的关联性。通过将两种模型的优势相结合，能够更全面地分析和预测交通流量的变化趋势。

2. 相关工作

近年来，交通流量预测的研究取得了显著进展，涌现出大量的预测模型和方法。本节将对相关工作进行回顾和总结。

统计模型:
传统的统计模型，如历史平均模型、时间序列模型(ARIMA、SARIMA)等，是交通流量预测的常用方法。这些模型基于历史数据进行建模，通过统计分析预测未来的交通流量。然而，这些模型通常假设数据具有线性关系，难以有效捕捉交通流量数据复杂的非线性特征。
机器学习模型:
随着机器学习技术的发展，越来越多的机器学习模型被应用于交通流量预测，如支持向量机(SVM)、神经网络(ANN)、k 近邻(KNN)等。这些模型能够更好地处理交通流量数据中的非线性关系，提高预测精度。
深度学习模型:
深度学习模型，特别是循环神经网络(RNN)及其变体(LSTM、GRU)，在处理时间序列数据方面表现出显著优势。LSTM 和 GRU 通过引入门控机制，有效地缓解了 RNN 梯度消失和梯度爆炸的问题，能够捕捉长程时间依赖关系。
Transformer 模型:
Transformer 模型凭借其强大的注意力机制，在处理长程依赖关系方面表现出卓越的性能，在自然语言处理(NLP)领域取得了巨大成功。近年来，Transformer 模型也被应用于时间序列预测领域，并取得了良好的效果。
混合模型:
为了充分利用不同模型的优势，研究人员提出了多种混合模型。例如，将 ARIMA 模型与神经网络模型相结合，或者将 LSTM 模型与卷积神经网络(CNN)相结合。这些混合模型能够更好地捕捉交通流量数据中的复杂特征，提高预测精度。

3. 模型构建

本文提出的 LightGBM+Transformer-GRU 混合模型主要包含两个核心部分：LightGBM 模型和 Transformer-GRU 模型。

3.1 LightGBM 模型

LightGBM (Light Gradient Boosting Machine) 是一种基于梯度提升决策树(GBDT)的机器学习算法，具有训练速度快、内存占用低、预测精度高等优点。LightGBM 通过采用基于直方图的决策树算法和梯度单边采样(GOSS)算法，有效地减少了训练时间和内存占用。此外，LightGBM 还支持类别特征直接输入，无需进行 one-hot 编码，进一步提高了模型的效率。

在本研究中，LightGBM 模型用于挖掘交通流量数据中与预测目标高度相关的静态特征和非线性关系。具体而言，我们将一些与交通流量相关的静态特征，如节假日、天气情况、时间戳信息等，作为 LightGBM 模型的输入，预测未来的交通流量。LightGBM 模型的输出可以看作是对原始交通流量数据的一种特征增强。

3.2 Transformer-GRU 模型

Transformer 模型是一种基于注意力机制的深度学习模型，在自然语言处理(NLP)领域取得了巨大成功。Transformer 模型的核心是自注意力机制，能够捕捉输入序列中不同位置之间的依赖关系。然而，Transformer 模型需要对整个输入序列进行处理，计算复杂度较高。

GRU (Gated Recurrent Unit) 是一种改进的循环神经网络(RNN)模型，通过引入门控机制，有效地缓解了 RNN 梯度消失和梯度爆炸的问题。GRU 具有更少的参数，训练速度更快，适合处理时间序列数据。

在本研究中，我们结合 Transformer 模型和 GRU 模型的优势，提出一种 Transformer-GRU 模型。该模型首先利用 Transformer 模型的注意力机制，对输入序列进行加权处理，提取重要的时间步信息；然后，将 Transformer 模型的输出作为 GRU 模型的输入，进一步捕捉输入序列的长程时间依赖关系。

具体而言，Transformer-GRU 模型包含以下几个主要组成部分：

输入嵌入层:
将输入序列 (原始交通流量数据和 LightGBM 模型的输出) 转换为嵌入向量。
Transformer 层:
利用多头注意力机制，捕捉输入序列中不同位置之间的依赖关系。
GRU 层:
利用 GRU 模型，捕捉输入序列的长程时间依赖关系。
输出层:
将 GRU 模型的输出转换为预测的交通流量值。

3.3 混合模型架构

本文提出的 LightGBM+Transformer-GRU 混合模型架构如下：

数据预处理:
对原始交通流量数据进行清洗、归一化等预处理操作。
LightGBM 模型训练:
利用静态特征训练 LightGBM 模型，预测未来的交通流量。
Transformer-GRU 模型训练:
将原始交通流量数据和 LightGBM 模型的输出相结合，作为 Transformer-GRU 模型的输入，训练模型。
模型预测:
利用训练好的 LightGBM 和 Transformer-GRU 模型，预测未来的交通流量。

4. 实验设计与结果分析

4.1 数据集

本文实验采用公开的 PeMS (California Performance Measurement System) 数据集进行验证。该数据集包含加州高速公路上的交通流量、速度和占有率数据。我们选取了 PeMSD7 数据集，该数据集包含了 2012 年 1 月 1 日至 2012 年 12 月 31 日的数据，涵盖了 883 个检测器的数据。我们选择其中一部分检测器的交通流量数据作为实验数据，并将数据集划分为训练集、验证集和测试集，比例为 7:2:1。

4.2 评价指标

为了评估模型的预测性能，我们采用以下评价指标：

平均绝对误差 (MAE):
MAE = (1/n) * Σ|yᵢ - ŷᵢ|
均方根误差 (RMSE):
RMSE = √(1/n * Σ(yᵢ - ŷᵢ)²)
平均绝对百分比误差 (MAPE):
MAPE = (1/n) * Σ| (yᵢ - ŷᵢ) / yᵢ | * 100%

其中，yᵢ 表示真实值，ŷᵢ 表示预测值，n 表示样本数量。

4.3 实验设置

LightGBM 模型:
LightGBM 模型的参数通过网格搜索进行优化，最终确定树的数量为 100，学习率为 0.1，最大深度为 5。
Transformer-GRU 模型:
Transformer-GRU 模型的参数也通过网格搜索进行优化，最终确定 Transformer 层的头数为 4，GRU 层的隐藏单元数为 64，学习率为 0.001，批次大小为 32。
对比模型:
为了验证本文提出的混合模型的优势，我们选择了以下对比模型：
- ARIMA 模型:
  采用自回归积分滑动平均模型，参数通过 AIC 准则进行选择。
- GRU 模型:
  采用单层 GRU 模型，隐藏单元数为 64。
- Transformer 模型:
  采用单层 Transformer 模型，头数为 4。