独家原创 | 基于NRBO-Transformer-BiLSTM多输入单输出回归预测【Matlab24年新算法】

本文链接：https://blog.youkuaiyun.com/Matlab_dashi/article/details/144314146

✅作者简介：热爱数据处理、数学建模、仿真设计、论文复现、算法创新的Matlab仿真开发者。

🍎更多Matlab代码及仿真咨询内容点击主页 🔗：Matlab科研工作室

🍊个人信条：格物致知，期刊达人。

🔥内容介绍

摘要: 本文提出一种基于神经元重置块（Neuron Reset Block, NRBO）、Transformer和双向长短时记忆网络（Bidirectional Long Short-Term Memory, BiLSTM）的多输入单输出回归预测模型。该模型旨在解决传统回归模型在处理复杂非线性时间序列数据时存在的局限性，例如长程依赖捕捉不足和特征提取能力有限等问题。通过将NRBO模块集成到Transformer和BiLSTM网络中，增强了模型的非线性表达能力和梯度传播效率，提高了预测精度和泛化能力。实验结果表明，该模型在多个真实数据集上的预测性能优于现有的几种先进回归模型，验证了其有效性和实用性。

关键词: 回归预测；时间序列；Transformer；BiLSTM；神经元重置块；多输入单输出

1. 引言

随着大数据时代的到来，越来越多的领域需要对复杂的时间序列数据进行精确的回归预测，例如金融市场预测、气象预报、交通流量预测等。传统的回归模型，如线性回归、支持向量机等，在处理非线性、高维、长程依赖等复杂特征时往往表现力不足。近年来，深度学习技术，特别是循环神经网络（Recurrent Neural Network, RNN）及其变体，如长短时记忆网络（Long Short-Term Memory, LSTM）和门控循环单元（Gated Recurrent Unit, GRU），在时间序列预测领域取得了显著进展。然而，LSTM和GRU在处理极长序列时仍然面临梯度消失和爆炸问题，难以有效捕捉长程依赖关系。

Transformer模型凭借其强大的并行计算能力和长程依赖建模能力，在自然语言处理领域取得了巨大成功。其核心在于自注意力机制（Self-Attention），可以有效捕捉序列中不同位置之间的关系。将Transformer应用于时间序列预测也逐渐成为研究热点。然而，直接将Transformer应用于回归预测任务，可能面临特征提取能力不足和对噪声敏感等问题。

为了解决上述问题，本文提出一种基于NRBO-Transformer-BiLSTM的多输入单输出回归预测模型。该模型结合了NRBO模块、Transformer和BiLSTM的优势，有效地提升了模型的预测精度和泛化能力。NRBO模块通过重置部分神经元，缓解了梯度消失问题，提高了网络的学习效率；Transformer模块能够有效捕捉时间序列数据的长程依赖关系；BiLSTM模块则可以充分利用过去和未来的信息进行双向特征提取。

2. 模型架构

本文提出的NRBO-Transformer-BiLSTM模型架构如图1所示，主要由三个部分组成：输入层、特征提取层和输出层。

(1) 输入层: 模型接受多维时间序列数据作为输入，每个输入样本包含多个特征变量的时间序列数据。这些数据经过标准化处理，以消除不同特征变量之间尺度差异的影响。

(2) 特征提取层: 特征提取层由NRBO-Transformer模块和BiLSTM模块组成。

NRBO-Transformer模块: 首先，将输入数据送入Transformer编码器进行特征提取。每个Transformer编码器层包含多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Network）。为了进一步增强模型的非线性表达能力和梯度传播效率，在每个Transformer编码器层中引入NRBO模块。NRBO模块通过学习一个重置门，选择性地重置部分神经元的激活值，从而有效地缓解梯度消失问题，提高模型的学习效率。
BiLSTM模块: Transformer编码器的输出送入BiLSTM模块进行双向特征提取。BiLSTM能够同时考虑过去和未来的信息，从而更好地捕捉时间序列数据的动态变化规律。

(3) 输出层: BiLSTM模块的输出送入全连接层进行回归预测，输出单一的预测值。

3. 神经元重置块 (NRBO)

NRBO模块是本文模型的核心创新之一。其结构如图2所示，它包含一个重置门，用于控制神经元的激活状态。重置门的值介于0和1之间，由一个sigmoid函数计算得到。当重置门的值接近于0时，对应的神经元将被重置为零；当重置门的值接近于1时，对应的神经元保持其原始激活值。通过学习重置门，NRBO模块可以自适应地调整神经元的激活状态，有效地缓解梯度消失问题，提高模型的学习效率。

4. 实验与结果

为了验证本文提出的模型的有效性，我们在多个真实数据集上进行了实验，并与几种先进的回归模型进行了比较，包括LSTM、GRU、Transformer和基于注意力机制的LSTM模型。实验结果表明，本文提出的NRBO-Transformer-BiLSTM模型在预测精度和泛化能力方面都取得了显著的提升。具体的实验结果将在论文中详细呈现，包括各种评价指标，如均方根误差(RMSE)、平均绝对误差(MAE)以及R方值等。

5. 结论与未来工作

本文提出了一种基于NRBO-Transformer-BiLSTM的多输入单输出回归预测模型。该模型有效地结合了NRBO模块、Transformer和BiLSTM的优势，在多个真实数据集上的实验结果表明，该模型具有较高的预测精度和泛化能力。未来工作将集中在以下几个方面：