12.15 文献阅读

m0_66015895

已于 2024-12-15 22:31:06 修改

阅读量872

点赞数 16

文章标签：人工智能机器学习深度学习

于 2024-12-15 22:30:28 首次发布

本文链接：https://blog.youkuaiyun.com/m0_66015895/article/details/144493914

版权

摘要

Abstract

文献阅读：基于注意力的双向LSTM和编码器-解码器的水质预测

摘要

本周阅读的文献《Accurate water quality prediction with attention-based bidirectional LSTM
and encoder–decoder》中提出了一种结合了变分模式分解（VMD），双向输入注意力机制，具有双向LSTM（BiLSTM）的编码器，以及具有双向时间注意力机制和BiLSTM的解码器的混合预测方法VBAED，用来预测水质时间序列。VBAED从定义上看就是一种编码器-解码器模型，采用双向输入注意机制，从两个方向的输入特征添加权重。VBAED采用BiLSTM作为编码器，从输入特征中提取隐藏特征。最后，通过具有双向时间注意机制的BiLSTM解码器获得预测结果。

Abstract

The literature "Accurate water quality prediction with attention based bidirectional LSTM and encoder decoder" read this week proposes a hybrid prediction method VBAED that combines Variational Mode Decomposition (VMD), bidirectional input attention mechanism, encoder with bidirectional LSTM (BiLSTM), and decoder with bidirectional time attention mechanism and BiLSTM to predict water quality time series. VBAED is defined as an encoder decoder model, which first uses VMD to decompose the historical data of prediction factors, and its decomposition results are used as input along with other features. Then, a bidirectional input attention mechanism is adopted to add weights from the input features in both directions. VBAED uses BiLSTM as the encoder to extract hidden features from input features. Finally, the prediction results are obtained through a BiLSTM decoder with bidirectional temporal attention mechanism.

文献阅读：基于注意力的双向LSTM和编码器-解码器的水质预测

Redirectinghttps://doi.org/10.1016/j.eswa.2023.121807时间：2023

现有问题

由于监测技术的发展，水质数据变得非线性和不稳定，并受到许多因素的影响。传统的统计方法不能很好地感知细微的水质变化和捕捉大尺度水质序列的非线性特征，SVR等非线性模型在处理大量数据时会消耗大量资源。此外，大多数普通神经网络无法捕捉长期依赖性，
作为rnn的典型变体，LSTM可以避免传统rnn中存在的梯度爆炸和梯度消失。它可以有效地捕获长依赖关系，在自然语言处理和时间序列预测中经常用于编码。然而，LSTM不能从后往前编码信息。在时间序列预测中，从后到前的信息是隐藏的，这是LSTM作为编码器无法获得的。
LSTM和编码器-解码器被广泛用于预测时间序列数据。但是随着水质数据的增加，它变得不稳定和高度非线性，尽管LSTM捕获了长期依赖性，但对于多特征预测任务，它不能区分不同特征的重要性。

提出方法

本文提出了一种混合预测方法VBAED来预测水质时间序列，VBAED结合了变分模式分解（VMD），双向输入注意力机制，具有双向LSTM（BiLSTM）的编码器，以及具有双向时间注意力机制和BiLSTM的解码器。VBAED的定义是一种编码器-解码器模型，它使用VMD作为模式分解，将BiLSTM与双向注意力机制相结合。具体地说，VBAED首先采用VMD对预测因子的历史数据进行分解，其分解结果与其他特征一起沿着作为输入。然后，采用双向输入注意机制，从两个方向的输入特征添加权重。VBAED采用BiLSTM作为编码器，从输入特征中提取隐藏特征。最后，通过具有双向时间注意机制的BiLSTM解码器获得预测结果。

创新点

采用BiLSTM作为编码器，从两个方向捕获特征。BiLSTM通过双向输入注意力机制进行改进，从两个方向独立地向输入添加注意力权重。
采用BiLSTM作为解码器，并结合双向时间注意机制来捕获长期依赖性，从而自适应地选择编码器在所有时间步长上的重要隐藏状态，并从两个方向对其进行解码

方法论

VBAED模型

VBAED通过VMD对水质时间序列中某一预测因子的历史数据进行分解，降低了输入数据的非线性和波动性，提高了预测精度。所提出的双向输入注意机制可以自适应地选择输入中的重要特征。BiLSTM可以捕获更多的长期依赖关系。双向时间注意机制提取时间维度上的重要特征，并BiLSTM作为解码器获得预测值。

输入双向注意力机制

为了更好地捕捉重要特征，本文为BiLSTM设计了一个输入注意机制。注意力机制可以自适应地从大量的特征中选择重要的特征并关注它们。注意力权重表示信息的重要性。由于LSTMF和LSTMB是两个具有独立参数的LSTM单元，因此我们分别为它们添加了输入注意力机制层。前向输入注意层用于LSTMF，后向输入注意层用于LSTMB。LSTMF和LSTMB从不同的方向进行编码，并且输入注意机制侧重于不同的特征。为它们中的每一个独立地设计单独的输入注意机制的优点在于它们可以自适应地提取两个方向上的重要特征，这可以提高模型的鲁棒性和预测精度。

在BiLSTM中的输入注意力机制中，对于特征X，我们引用LSTMF单元中的 $eq?h_%7Bt-1%7D%5E%7BF%7D$ 和 $eq?c_%7Bt-1%7D%5E%7BF%7D$ 去构建前向输入注意机制，引用LSTMB单元中的 $eq?h_%7Bt+1%7D%5E%7BB%7D$ 和 $eq?c_%7Bt+1%7D%5E%7BB%7D$ 去构建后向输入注意机制。其中 $eq?a_%7Bt%7D%5E%7BF_%7B1%7D%7D$ 和 $eq?a_%7Bt%7D%5E%7BB_%7B1%7D%7D$ 分别表示在时间步长 $eq?t$ 的前向注意力权重和后向注意力权重，

BiLSTM模块

BiLSTM由两个独立的LSTM单元组成。第一个LSTM单元称为LSTMF，它从前到后对信息进行编码。第二个LSTM单元称为LSTMB，它从后到前对信息进行编码。然后，将来自两个方向的信息进行组合，得到时间步长t处编码器的隐藏状态 $eq?h_%7Bt%7D%5E%7BF%7D$ 。在时间步t，LSTMF基于在时间步t-1的隐藏状态 $eq?h_%7Bt-1%7D%5E%7BF%7D$ 和单元状态 $eq?c_%7Bt-1%7D%5E%7BF%7D$ ，以及Encoder的输入 $eq?%5Ctilde%7BX%7D_%7Bt%7D%5E%7BF%7D$ 三者计算它的隐藏状态 $eq?h_%7Bt%7D%5E%7BF%7D$ 。LSTMB基于隐藏状态 $eq?h_%7Bt+1%7D%5E%7BB%7D$ 、单元状态 $eq?c_%7Bt+1%7D%5E%7BB%7D$ 和输入 $eq?%5Ctilde%7BX%7D_%7Bt%7D%5E%7BB%7D$ 计算其隐藏状态 $eq?h_%7Bt%7D%5E%7BB%7D$ 。因此前向隐藏状态 $eq?h_%7Bt%7D%5E%7BF%7D$ 和后向隐藏状态 $eq?h_%7Bt%7D%5E%7BB%7D$ 组合成BiLSTM的隐藏状态。LSTMF和LSTMB是两个独立的LSTM单元，它们不共享参数。

模型总流程

研究实验

数据集

为了评估不同时间序列预测方法的性能，采用了两种不同的真实数据集，即BTH数据集和亚拉巴马数据集，分别为多特征和单特征数据集。

BTH数据集收集自2018年9月至2021年12月期间京津冀地区河流中的自动水质站。每4 h采集一次，涉及pH、TN、TP。在实验中，TN被用作基础事实，pH和TP被用作特征。对于少量的缺失值，采用线性插值的方法进行补充，总共有7200个数据样本。我们将前5000个数据样本作为训练集，接下来的1000个数据样本作为验证集，剩下的1200个数据样本作为测试集。
亚拉巴马数据集是2017年5月至2019年8月美国亚拉巴马河一段的水质数据。数据收集间隔为一小时。与BTH数据集不同，亚拉巴马数据集只有一个DO特征，即亚拉巴马数据集中的目标值。对于数据集中的少量缺失值，采用线性插值方法进行补齐。在亚拉巴马数据集中，我们总共有19862个数据样本。在这项工作中，我们将前15889个数据样本作为训练集，随后的1986个数据样本作为验证集，最后的1987个数据样本作为测试集。

数据预处理

采用Savitzky Golay（SG）滤波器对BTH数据集中TN、TP和pH的时间序列数据进行平滑处理，以减少噪声的干扰和局部异常值对整体趋势的影响。对于亚拉巴马数据集，我们直接预测目标DO值而不进行任何预处理。

评估指标

为了验证VBAED的性能，采用三个评估指标来比较预测精度，即均方根误差（RMSE）、平均绝对误差（MAE）和决定系数（R2）。

基准方法

ARIMA（2019）、SVR（2020）、极端梯度提升（2021）、反向传播（2016），LSTM（2019），BiLSTM（2022）和DARNN（2017年）。除此之外还将VMD添加到每个基线方法中以分解数据，从而产生VMD-LSTM（2019）、VMD-BiLSTM和VMD-DA-RNN。

实验结果分析

1、验证VBAED的准确性

用训练集对VBAED进行训练，对于BTH数据集，预测曲线和地面实况曲线几乎相同，这表明VBAED在多特征数据集中是有效的。对于亚拉巴马数据集，VBAED在单特征数据集中也工作得很好。

在BTH数据集上的水质时间序列预测结果

在亚拉巴马数据集上的水质时间序列预测结果

2、验证VBAED的鲁棒性和有效性

为了进一步，采用RMSE，MAE和R2将其与其他10个对等体进行比较，（DA-RNN只能用于多特征数据集）结果表明，VBAED在BTH和亚拉巴马数据集上都获得了最好的结果。此外，在BTH数据集中，当不采用VMD分解时，LSTM，BiLSTM和DA-RNN的RMSE分别为0.2093，0.1657和0.1259。采用VMD分解后，VMD-LSTM、VMD-BiLSTM和VDM-DARNN的RMSE分别为0.1688、0.1475、0.1156。在亚拉巴马数据集中，当不采用VMD分解时，LSTM和BiLSTM的RMSE分别为0.1957和0.1866。采用该方法后，VMD-LSTM和VMD-BiLSTM的RMSE分别为0.1724和0.1555。结果表明，VMD有效地把握了水质数据的演变趋势，并将其分解为关键信息模式和噪声模式，有助于模型训练，提高了预测精度。在BTH和亚拉巴马数据集上，LSTM的RMSE都比BiLSTM差，这表明双向LSTM结构克服了传统LSTM容易忽略从后到前的信息，导致相关信息丢失的局限性。

3、验证双向输入注意机制和双向时间注意机制的效果

在两个数据集上进行了消融实验。仅应用双向输入注意机制或双向时间注意机制会导致预测精度显著降低。在BTH和亚拉巴马数据集上，采用双向输入注意的模型的RMSE分别为0.0705和0.1313，而采用双向时间注意的模型的RMSE分别为0.0768和0.1368。这表明双向输入注意机制在VBAED中比双向时间注意机制起着更重要的作用。对于原始的长序列数据，网络很难直接捕捉到重要信息。双向输入注意机制使VBAED能够区分原始特征的重要性，从而加强重要特征，削弱不重要特征。此外，它使VBAED中的编码器能够获得更多有用的信息。VBAED采用双向输入注意机制提取相关特征，采用双向时间注意机制选择所有时间步的相关隐藏状态。因此，VBAED在BTH和亚拉巴马数据集的所有方法中实现了最高的预测精度。