2024/12/15周报

原创已于 2024-12-15 18:50:33 修改 · 842 阅读

24 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #lstm #深度学习 #大数据 #人工智能

于 2024-12-15 15:17:58 首次发布

摘要

本周对小论文进行书写，准备基于LSTM用混合模型对污水出水水质进行预测，对数据集采用一些特别的数据处理方法，包括缺失值和异常值检测等部分。此外，本周阅读了一篇利用混合深度学习方法改进污水处理厂实时出水水质预测的文章，文章中提出了一种结合时间卷积网络（TCN）和长短期记忆网络（LSTM）的混合深度学习模型，用于改进污水处理厂每小时总氮（TN）浓度的预测精度，并与单一模型（如TCN、LSTM）及传统机器学习模型（如前馈神经网络，FFNN）进行对比，实验结果表明，文章提出的模型显著提高了污水处理厂实时出水TN浓度预测的精度和稳定性。

Abstarct

This week, I worked on writing a short paper focused on predicting wastewater effluent quality using a hybrid model based on LSTM. Special data processing methods were applied to the dataset, including handling missing values and detecting outliers. Additionally, I read an article about improving real-time effluent quality prediction in wastewater treatment plants using a hybrid deep learning approach. The article proposed a hybrid deep learning model combining Temporal Convolutional Networks (TCN) and Long Short-Term Memory networks (LSTM) to enhance the hourly prediction accuracy of total nitrogen (TN) concentration in wastewater effluent. The model was compared with single models such as TCN, LSTM, and traditional machine learning models like Feedforward Neural Networks (FFNN). Experimental results demonstrated that the proposed model significantly improved the accuracy and stability of real-time TN concentration predictions for wastewater treatment plants.

文献

题目

A hybrid deep learning approach to improve real-time effluent quality prediction in wastewater treatment plant

研究背景

污水处理厂（WWTP）在保护公共健康和环境中扮演着至关重要的角色。通过去除生活污水和工业废水中的污染物，WWTP不仅可以显著降低污水排放对水体生态系统的影响，还能够减少有害物质对人类健康的威胁。然而，由于进水水质特性和污水处理过程的高度非线性和动态复杂性，WWTP的运行和管理面临着诸多技术挑战。这种复杂性主要体现在进水流量和污染物浓度的显著波动、化学和物理条件的变化以及多工艺耦合的运行模式上。随着污染控制标准的日益严格，尤其是对总氮（TN）浓度的监管要求不断提高，WWTP需在高效运行的同时，确保出水质量符合甚至优于排放标准。这对传统的预测和优化方法提出了更高的要求。

在这一背景下，传统的污水处理建模方法，例如活性污泥模型（ASMs），在20世纪80年代成为主流。这些机械模型以明确的物理化学和生物反应原理为基础，能够模拟污水处理的动态过程。然而，机械模型的实际应用存在较大局限性。首先，它们需要大量详细的参数校准，这不仅需要高水平的专业知识，还对监测数据的全面性和准确性有较高要求。其次，机械模型在处理复杂、非线性、非平稳的输入数据时表现不足，难以满足现代WWTP运行管理对实时性和高精度的要求。

近年来，随着人工智能和机器学习技术的快速发展，数据驱动的建模方法逐渐兴起，为污水处理建模提供了更高效的替代方案。这些方法通过深度学习和复杂数据分析算法，能够从大规模历史数据中挖掘出非线性关系，进行更高效、更准确的时间序列预测。例如，人工神经网络（ANN）、支持向量机（SVM）以及深度学习框架中的循环神经网络（RNN）和长短期记忆网络（LSTM）已经在多个水环境预测任务中显示出显著的潜力和优势。然而，单一模型的预测精度和适应性仍存在一定不足。因此，将不同模型的优势结合起来的混合建模方法，正在成为一个新兴趋势，为进一步提升污水处理厂的出水水质预测能力提供了可能性。

本文贡献

本研究开发了一种结合时间卷积网络（TCN）和长短期记忆网络（LSTM）的混合深度学习模型，用于改进污水处理厂每小时总氮（TN）浓度的预测精度，并与单一模型（如TCN、LSTM）及传统机器学习模型（如前馈神经网络，FFNN）进行对比。

数据集

研究场地与工艺：
研究地点为中国江苏省南通市的一家污水处理厂，处理能力为2500立方米/日，采用包括厌氧、缺氧和好氧的活性污泥处理系统。最终出水经过絮凝、沉淀、砂滤和氯化后排放。所选污水处理厂的处理工艺和在线仪器示意图如下。
在这里插入图片描述

数据采集与预处理：
数据来源包括在线仪表监测的33个参数，分为进水参数（如COD、TN、NH₃-N）、过程控制参数（如溶解氧、氧化还原电位）和出水参数（如出水TN浓度）。数据频率为每小时一次。为确保数据连续性，缺失数据通过拉格朗日插值法补全，数据则通过标准化处理以利于模型训练。
在这里插入图片描述

在这里插入图片描述

混合模型架构

在本文研究中，混合深度学习模型 TCN-LSTM模型由四个主要部分组成，依次为时间卷积网络（TCN）层、长短期记忆网络（LSTM）层、全连接层（Dense Layer）以及最终的输出层。这种架构旨在结合TCN的快速特征提取能力与LSTM的长期依赖关系捕捉特性，为复杂的时间序列数据建模提供高效解决方案。
在这里插入图片描述

TCN层（Temporal Convolutional Network Layer）：
TCN层作为模型的第一层，主要负责对时间序列数据的特征进行快速提取。TCN采用一维卷积操作，能够在较短时间内捕获序列数据的局部特征，同时具有并行处理的能力，从而提升模型的计算效率。具体而言：

TCN包含5层隐藏层，扩展率（dilation rate）分别设置为2、4、8、16和32。扩展率的设计旨在逐步扩大感受野，从而在时间序列中捕捉更大范围的依赖关系。
每一层的滤波器大小设定为3，这种较小的卷积核在处理短期特征的同时避免了过度平滑。
为了防止过拟合，TCN层中应用了残差连接（residual connections）以及0.1的Dropout。

LSTM层（Long Short-Term Memory Layer）：
在TCN层提取的特征基础上，LSTM层进一步捕获序列数据中的长期依赖关系。LSTM网络具有记忆单元和门控机制，通过输入门、遗忘门和输出门的控制，有效地保留关键信息并忽略无关特征。具体设置如下：
- LSTM包含1个LSTM层，每层3个隐藏层，每个隐藏层包含67个神经元。
- 神经元数目根据经验公式确定：2*输入参数数+1。在本研究中，输入参数总数为33个。
- Dropout率设定为0.3，以进一步降低过拟合风险。
全连接层和输出层（Dense and Output Layers）：
LSTM提取的特征通过全连接层传递至输出层。全连接层的神经元数与LSTM隐藏层一致，确保特征向量的完整性。最终，输出层根据预测任务给出下一时间步的总氮（TN）浓度预测值。
模型超参数设置：
- 损失函数：选择平均绝对误差（MAE）作为损失函数，以提高模型对异常值的敏感性，适应污水处理厂数据中可能存在的极端情况。
- 优化器：采用Adam优化器，学习率设定为0.001，参数。Adam的快速收敛特性适合本任务中复杂的时间序列建模。
- 训练参数：训练周期（epoch）设定为80轮，批量大小（batch size）为32。
数据处理与训练流程：
- 数据预处理后，采用滑动窗口技术（sliding window）将时间序列数据切分为连续的子序列，用于模型输入。窗口大小为t ，即预测目标的时间点由前m个时间步的输入决定。
- 模型训练时，将总数据分为训练集（80%）和测试集（20%），分别用于参数优化和性能验证。
特点与优势：
- TCN层通过扩展卷积显著增强了时间序列中长时间依赖的提取能力，而与传统卷积相比，其输入与输出序列长度保持一致，避免了信息损失。
- LSTM层在TCN提取特征的基础上进一步优化了长时依赖关系的学习，使得模型能够同时捕捉短期和长期的动态特性。

综上，TCN-LSTM混合模型通过其多层次的架构和精确的超参数设置，为实时污水处理出水质量的高精度预测提供了一种创新性解决方案。

实验结果

模型性能评估：
通过比较MAPE、MAE、RMSE和R²等指标，TCN-LSTM模型的预测精度显著高于单一模型和传统FFNN模型：

与单一模型对比： TCN-LSTM模型在测试数据上的预测精度（MAPE、MAE和RMSE）比单一TCN提高了28.1%-29.5%，比LSTM提高了22.9%-33.1%。
与FFNN对比： TCN-LSTM模型的性能较FFNN提升了58.3%-63.6%，尤其是在出水TN超标的早期预警中展现了更高的可靠性。

时间前瞻预测：
TCN-LSTM模型在1小时、2小时、4小时和8小时的前瞻预测中保持了较高的预警准确性（分别为87.3%、76.2%、70.6%和69.3%）。尽管预测时间增加会导致精度略有下降，但模型在多数情况下仍能准确预测出水TN浓度。
在这里插入图片描述

模型解释性：
采用Shapley值解释模型输入参数的贡献，结果表明：

出水参数（如TN浓度、好氧池溶解氧浓度）对预测结果影响最大。
移除不重要参数（如10个最低影响的参数）对模型性能几乎无影响，而移除5个最重要参数则导致性能显著下降（R²下降96.9%）。

模型计算效率：
尽管混合模型的训练时间略高于FFNN（146.9秒 vs 29.4秒），但与提升的预测精度相比，这种计算成本增加是可接受的。
在这里插入图片描述

代码

根据论文内容，完整实现混合深度学习模型（TCN-LSTM） 来进行实时污水处理厂出水水质预测。以下是基于PyTorch框架的实现代码，并使用公开可用的污水处理数据集，例如 UCI Machine Learning Repository 的污水处理厂数据集 (WWTP)。

代码概述

数据准备与预处理：对数据集进行读取、缺失值填补、标准化。
模型构建：构建TCN、LSTM，以及它们的混合模型 TCN-LSTM。
训练与测试：使用PyTorch加速模型训练，计算准确度指标。
模型评估与解释：计算MAE、RMSE、R²等评估指标，并进行预测可视化。

完整实现代码

1. 导入必要的库

import torch
import torch.nn as nn
import torch.optim as optim
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt

2. 数据加载与预处理

# 加载数据集 (使用 UCI 污水处理厂数据)
url = "https://archive.ics.uci.edu/ml/machine-learning-databases/00535/WWTP_data.csv"
data = pd.read_csv(url)

# 选择输入和输出特征
input_features = ['Flow', 'COD', 'NH3_N', 'TN', 'TP', 'pH']
target_feature = 'Effluent_TN'

# 处理缺失值
data = data.fillna(method='ffill')

# 划分输入和输出
X = data[input_features].values
y = data[target_feature].values

# 数据标准化
scaler = StandardScaler()
X = scaler.fit_transform(X)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
X_train = torch.tensor(X_train, dtype=torch.float32)
X_test = torch.tensor(X_test, dtype=torch.float32)
y_train = torch.tensor(y_train, dtype=torch.float32).unsqueeze(1)
y_test = torch.tensor(y_test, dtype=torch.float32).unsqueeze(1)

3. 定义TCN层

class TemporalConvNet(nn.Module):
    def __init__(self, input_dim, hidden_dim, kernel_size=3, dropout=0.2):
        super(TemporalConvNet, self).__init__()
        self.tcn = nn.Sequential(
            nn.Conv1d(input_dim, hidden_dim, kernel_size, padding=1),
            nn.ReLU(),
            nn.Dropout(dropout),
            nn.Conv1d(hidden_dim, hidden_dim, kernel_size, padding=1),
            nn.ReLU(),
            nn.Dropout(dropout)
        )
    def forward(self, x):
        return self.tcn(x)

4. 定义混合模型TCN-LSTM

class TCN_LSTM(nn.Module):
    def __init__(self, input_dim, hidden_dim, output_dim):
        super(TCN_LSTM, self).__init__()
        self.tcn = TemporalConvNet(input_dim=1, hidden_dim=hidden_dim)
        self.lstm = nn.LSTM(input_size=hidden_dim, hidden_size=hidden_dim, batch_first=True)
        self.fc = nn.Linear(hidden_dim, output_dim)

    def forward(self, x):
        x = x.unsqueeze(1)  # 添加通道维度
        tcn_out = self.tcn(x).squeeze(1)
        lstm_out, _ = self.lstm(tcn_out)
        output = self.fc(lstm_out[:, -1, :])  # 取最后时间步的输出
        return output

5. 模型训练与测试

# 初始化模型、损失函数和优化器
input_dim = X_train.shape[1]
hidden_dim = 64
output_dim = 1
model = TCN_LSTM(input_dim, hidden_dim, output_dim)
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 训练模型
epochs = 100
for epoch in range(epochs):
    model.train()
    optimizer.zero_grad()
    output = model(X_train)
    loss = criterion(output, y_train)
    loss.backward()
    optimizer.step()

    # 打印训练损失
    if (epoch + 1) % 10 == 0:
        print(f'Epoch [{epoch+1}/{epochs}], Loss: {loss.item():.4f}')

# 测试模型
model.eval()
with torch.no_grad():
    y_pred = model(X_test)
    test_loss = criterion(y_pred, y_test)
    print(f'Test Loss: {test_loss.item():.4f}')

6. 模型评估与可视化

from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score

# 评估指标
y_pred_numpy = y_pred.numpy()
y_test_numpy = y_test.numpy()
mae = mean_absolute_error(y_test_numpy, y_pred_numpy)
rmse = np.sqrt(mean_squared_error(y_test_numpy, y_pred_numpy))
r2 = r2_score(y_test_numpy, y_pred_numpy)

print(f"MAE: {mae:.4f}, RMSE: {rmse:.4f}, R²: {r2:.4f}")

# 可视化预测结果
plt.plot(y_test_numpy, label="Actual")
plt.plot(y_pred_numpy, label="Predicted")
plt.legend()
plt.title("Effluent TN Prediction")
plt.show()

代码说明

数据集：使用 UCI 污水处理厂数据集，无需预处理。
模型：结合TCN和LSTM模型，具有强大的时序数据建模能力。
训练与评估：使用MAE、RMSE、R²等指标评估模型性能。

总结

本研究提出的混合TCN-LSTM模型成功整合了TCN的特征提取能力与LSTM的长期依赖捕捉优势，显著提高了污水处理厂实时出水TN浓度预测的精度和稳定性。模型在应对复杂进水波动和非线性运行工况方面表现优异。未来，TCN-LSTM模型可进一步扩展到不同规模和类型的污水处理厂，并与多目标优化框架集成，以在水质达标和经济效益间实现协同优化。

政策与实践意义：