机器学习周报-文献阅读

摘要

本周阅读了题目为An efficient data fusion model based on Bayesian model averaging for robust water quality prediction using deep learning strategies文章，文章提出了结合多种神经科学模型，提出一种新颖的基于贝叶斯模型平均（Bayesian Model Averaging，BMA）的数据融合框架（深度学习方法）包括多层感知器神经网络（MLPNN），递归神经网络（RNN），卷积神经网络（CNN），门控递归单元（GRU），长短时记忆（LSTM），和带外生变量的季节性自回归综合移动平均数（SARIMAX）。BMA有能力极大地提高独立方法所取得的结果。同时利用互信息（MI）与递归特征消除（RFE）两种特征选取方法，选取有效的预测因子，并考察各输入参数的重要性。研究结果证实了基于深度学习模型输出的BMA工具可以有效地应用于溶解氧浓度的预测。

Abstract

This week, I read an article titled “An efficient data fusion model based on Bayesian model averaging for robust water quality prediction using deep learning strategies.” The article proposes a novel data fusion framework based on Bayesian Model Averaging (BMA) that integrates multiple neural network models, including Multilayer Perceptron Neural Network (MLPNN), Recurrent Neural Network (RNN), Convolutional Neural Network (CNN), Gated Recurrent Unit (GRU), Long Short-Term Memory (LSTM), and Seasonal Autoregressive Integrated Moving Average with Exogenous Variables (SARIMAX). BMA has the capability to significantly enhance the results obtained by individual methods. Additionally, the study employs two feature selection methods, Mutual Information (MI) and Recursive Feature Elimination (RFE), to identify effective predictors and assess the importance of various input parameters. The research findings confirm that the BMA tool based on deep learning model outputs can be effectively applied to the prediction of dissolved oxygen concentration.

1 文章内容

创新点：

1. 贝叶斯模型平均（BMA）的应用：
   论文提出了一种基于贝叶斯模型平均（BMA）的数据融合框架，用于结合多个深度学习模型的预测结果。这种方法能够综合多个模型的优势，减少单一模型可能存在的不确定性和偏差，从而提高预测的准确性和稳健性。
2. 多种深度学习模型的集成：
   论文集成了多种深度学习模型，包括多层感知器神经网络（MLPNN）、循环神经网络（RNN）、卷积神经网络（CNN）、门控循环单元（GRU）、长短期记忆网络（LSTM）和季节性自回归积分滑动平均模型（SARIMAX）。这种集成方法使得模型能够捕捉溶解氧浓度变化的复杂非线性特征。
3. 特征选择方法的结合：
   论文采用了两种特征选择方法——互信息（MI）和递归特征消除（RFE）——来筛选有效的预测因子。这些方法有助于识别对溶解氧浓度预测最有影响的变量，从而提高模型的预测性能。

1.1 模型

1.1.1 Multilayer perceptron neural network (MLPNN)

MLPNN是一种前馈神经网络，作者使用多层感知器神经网络（MLPNN）作为预测模型，文章中该模型由单个输入层，单个隐藏层和单个输出层组成，只有一个神经元。

具体实现：

• 结构：单输入层、单隐藏层、单输出层。
• 激活函数：使用双曲正切函数（tanh）。
• 优化器：Adam优化器，学习率0.01。
• 训练参数：批量大小为16，训练周期为82个epoch。
• 损失函数：均方误差（MSE）。

1.1.2 Recurrent neural network (RNN)

递归神经网络（RNN）是一种人工神经网络（ANN），被广泛应用于处理时序和时间序列数据。RNN是一种适合处理时间序列数据的神经网络，能够记忆之前的输入信息，并将其用于当前的输出计算。其核心是通过循环连接将信息传递到下一个时间步。RNN能够捕捉时间序列数据中的动态变化，适合溶解氧浓度这种随时间变化的预测任务。

$$h_t=tanh(w_{hh}{h}_{t-1}+w_{xh}{x}_t)+b_h$$
来自前一个时间步（$h_{t-1}$）的隐藏层的输出被“反馈”到神经元，用于提供在（$h_t$）处的隐藏层的响应，其中添加了输入变量（$x_t$）和权重（$w$）。隐藏层的先前时刻输出（$h_{t-1}$）与当前数据（KaTeX parse error: Expected group after '_' at position 2: x_̲t）和权重（$W$）一起被沿着反馈到神经元，以计算隐藏层的当前时刻输出（ht）

具体实现：

• 循环单元：每个时间步的输出会反馈到输入中。
• 激活函数：ReLU。
• 训练参数：批量大小为48，训练周期为82个epoch。
• 优化器：Adam优化器，学习率0.001。
• 损失函数：均方误差（MSE）。

1.1.3 Convolutional neural network (CNN)

CNN最初用于图像处理，但也可以应用于时间序列数据。它通过卷积层提取局部特征，然后通过池化层减少特征维度，最后通过全连接层进行预测。CNN能够提取时间序列中的局部特征，适合处理溶解氧浓度这类具有局部相关性的数据。

具体实现：

1. 卷积层：使用卷积核提取特征。
2. 激活函数：ReLU。
3. 池化层：最大池化或平均池化。
4. 训练参数：批量大小为48，训练周期为82个epoch。
5. 优化器：Adam优化器，学习率0.01。
6. 损失函数：均方误差（MSE）。

1.1.4 Long short-term memory (LSTM)

LSTM是RNN的一种改进，专门用于解决RNN中的梯度消失问题。它通过引入输入门、遗忘门和输出门来控制信息的流动，能够更好地捕捉长期依赖关系。总的来说，所产生的信息在不同的门之间流动，特别是在隐藏状态（$h_t$）和前一单元（$s_t$）之间。LSTM能够捕捉溶解氧浓度变化中的长期依赖关系，适合处理时间跨度较大的数据。

单个存储器单元块（MCB）的架构，ft：遗忘门，It：输入门，Ot：输出门，σ：S形函数，X：输入变量，Ct：单元状态，St：隐藏状态。

具体实现：

1. 结构：输入层、隐藏层（包含多个LSTM单元）、输出层。
2. 四个门：输入门，遗忘门，输出门，外部门
3. 激活函数：tanh。
4. 训练参数：批量大小为16，训练周期为50个epoch。
5. 优化器：Adam优化器，学习率0.01。
6. 损失函数：均方误差（MSE）。

1.1.5 Gated recurrent unit (GRU)

GRU是LSTM的简化版本，通过引入更新门和重置门来控制信息的流动。它比LSTM更轻量级，训练速度更快。GRU在保持LSTM性能的同时，减少了计算复杂度，适合溶解氧浓度这类需要快速训练的预测任务。GRU的主要优点是它能够避免梯度消失问题。与LSTM相比，“输入门”和“遗忘门”被集成到一个“更新门”；有一个“复位门”而不是“输出门”

具体实现：

1. 结构：输入层、隐藏层（包含GRU单元）、输出层。
2. 激活函数：tanh。
3. 训练参数：批量大小为16，训练周期为82个epoch。
4. 优化器：Adam优化器，学习率0.03。
5. 损失函数：均方误差（MSE）。

1.1.6 Bayesian model averaging (BMA)

BMA是一种数据融合技术，用于结合多个模型的预测结果，而不是仅依赖单个模型的预测结果。对于预测变量$y$，假设 P O 1 , P O 2 , P O 3 . . . . . . . P O k PO_1,PO_2,PO_3.......PO_k PO1​,PO