机器学习周报第30周

摘要

Abstract

一、文献阅读

1 论文标题

Accurate one step and multistep forecasting of very short-term PV power using LSTM-TCN model - ScienceDirect

2 论文摘要

准确的光伏功率预测正在成为将光伏电站并入电网、调度和保障电网安全的强制性任务。本文提出了一种利用LSTM-TCN预测光伏功率的新模型。它由长短期记忆和时间卷积网络模型之间的组合组成。LSTM用于从输入数据中提取时态特征，然后与TCN结合，在特征和输出之间建立连接。所提出的模型已使用包含测量光伏功率的历史时间序列的数据集进行了测试。然后，在不同季节、时段预报、多云、晴朗和间断性天气下，与LSTM和TCN模型的精度进行了比较。对于一步预测，结果表明，所提出的模型优于LSTM和TCN模型。与LSTM、TCN相比，平均绝对误差分别下降了、秋季8.47%，14.26%、冬季6.91%，15.18%、春季10.22%，14.26%和夏季14.26%，14.23%。 在多步预测方面，LSTM-TCN在2步到7步的光伏功率预测中均优于所有比较的模型。

3 过去方案

光伏发电预测主要有三种方法：物理方法、统计方法和混合方法。物理模型可以定义为具有描述系统输入和输出的数学方程的确定性模型。统计模型基于持久性的概念，通常依赖于机器学习和深度学习模型，这些模型可以从光伏发电历史数据中学习，并返回预测的光伏发电。对于混合模型，它是将前面的方法（物理模型和统计模型）相结合，以优化光伏功率预测的准确性。

在物理方法上，主要研究PV电池的等效电路。光伏发电功率预测是通过数值天气预报（numerical weather prediction，NWP）获取太阳辐照度、温度等输入参数得到的。光伏电池的物理模型需要大量的电路参数，这些参数对模型的准确性影响很大。在Comparison of different physical models for PV power output prediction - ScienceDirect中，比较了采用两种不同方法确定PV电池温度和实际天气数据的不同物理模型（基于3、4和5个参数）。结果表明，物理模型的准确性取决于用于校准该模型的数据和用于计算PV电池温度的方法。PV组件的电气数据表和估算方程可用于提取PV电池物理模型的参数。此外，还可以采用人工神经网络和进化算法等先进方法来计算这些参数。Applied Sciences | Free Full-Text | Application of Symbiotic Organisms Search Algorithm for Parameter Extraction of Solar Cell Models (mdpi.com)使用了一种名为共生生物搜索算法（Symbiotic Organisms Search algorithm）的算法，并与各种进化算法进行了比较，以识别PV模型参数。此外，还使用了一种名为Social Network Optimization的进化算法将PV模型参数与实测数据进行匹配。
几种基于机器学习的方法已被用于直接或间接地预测PV功率（预测太阳辐照度）。使用多层感知器神经网络（MLP）预测24小时的光伏发电功率，平均绝对误差（MAE）低于5%。Forecasting Power Output of Photovoltaic Systems Based on Weather Classification and Support Vector Machines | IEEE Journals & Magazine | IEEE Xplore采用支持向量机（Support Vector Machine，SVM）方法结合天气分类，结合历史PV功率时间序列，提前一天预测PV功率。结果表明，不同天气条件下光伏发电的平均相对误差（MRE）平均值为8.64%。Short-term power forecasting system for photovoltaic plants - ScienceDirect采用短期人工神经网络（ANN），利用PV输出功率的历史数据和来自数值天气预报模型（NWP）的天气预报，提前16 ~ 39小时预测PV功率。该技术已与自回归综合移动平均（ARIMA）和k -近邻（K-NN）进行了比较。结果表明，该方法优于其他方法。Day-ahead forecasting of solar photovoltaic output power using multilayer perceptron | Neural Computing and Applications (springer.com)中也使用了MLP和ANN的组合（MLP-ANN）来估计一天前的光伏功率。对于Levenberg-Marquardt等不同的学习算法，所得到的MAE在[1.92%-11.28%]范围内。Energies | Free Full-Text | Extreme Learning Machines for Solar Photovoltaic Power Predictions (mdpi.com)中已经开发了一种名为极限学习机（ELM）的算法，用于训练MLP网络提前一天进行预测。该方法在精度上优于反向传播算法。近年来，深度学习模型也被广泛应用于光伏发电功率预测。采用前馈深度神经网络（DNN）提前24小时预测光伏发电功率，MAE为2.9%。在准确性方面，最常用的深度学习模型是长短期记忆（LSTM）模型。在Deep learning neural networks for short-term photovoltaic power forecasting - ScienceDirect中，对LSTM、门控循环单元（GRU）、卷积神经网络（CNN）、CNN-LSTM、CNN-GRU、双向LSTM和双向GRU等不同深度学习模型进行了比较研究。结果表明，LSTM模型在短期光伏发电预测方面优于其他深度学习模型。此外，LSTM模型可以与几种算法相结合来优化其精度，如灰色关联分析（GRA），如Hour-ahead photovoltaic power forecast using a hybrid GRA-LSTM model based on multivariate meteorological factors and historical power datasets - IOPscience所示。时序卷积神经网络（TCN）是一种为序列建模而设计的新型卷积结构，用于光伏发电功率预测，并与LSTM、GRU、RNN和多层前馈神经网络进行了比较。TCN在准确率上优于其他模型。

如前所述，混合模型是结合两种方法（物理方法和统计方法）来提高预测精度的模型。一些文献中使用了几种混合模型。在Energies | Free Full-Text | A Physical Hybrid Artificial Neural Network for Short Term Forecasting of PV Plant Power Output (mdpi.com)中，一个名为物理混合人工神经网络（PHANN）的模型被用于预测光伏发电的提前日功率。该模型是基于双层人工神经网络（ANN）与晴空太阳辐射物理模型相结合的，并与经典的人工神经网络进行了比较。结果表明，PHANN在准确率方面优于人工神经网络。此外，PHANN在日前功率预测中优于光伏组件物理五参数等效模型。此外，Energies | Free Full-Text | Computational Intelligence Techniques Applied to the Day Ahead PV Output Power Forecast: PHANN, SNO and Mixed (mdpi.com)报道了一种混合预测方法。该方法利用PHANN组合提高天气预报精度，利用社会网络优化（social network optimization, SNO）优化模型参数。结果表明，与PHANN和SNO算法优化的光伏组件物理模型相比，混合方法提高了功率预测的准确性。

4 论文方案

LSTM-TCN模型已被应用于不同的研究领域。Text Sentiment Classification Based on LSTM-TCN Hybrid Model and Attention Mechanism | Proceedings of the 4th International Conference on Computer Science and Application Engineering (acm.org)采用结合注意机制的LSTM-TCN模型进行文本情感分类，并与有注意机制和不带注意机制的LSTM-CNN、LSTM和TCN模型进行比较。结果表明，LSTM-TCN优于LSTM、TCN，在注意机制下，AT-LSTM-TCN优于AT-LSTM-CNN等模型。此外，在LSTM-TCN: dissolved oxygen prediction in aquaculture, based on combined model of long short-term memory network and temporal convolutional network | Environmental Science and Pollution Research (springer.com)中，LSTM-TCN也用于水产养殖中溶解氧的预测。将该模型与TCN、LSTM和CNN-LSTM进行了比较。与其他方法相比，LSTM-TCN的MAE=0.236%，MAPE=3.10%，RMSE=0.342，R2=0.94，表现出较好的性能。风电功率预测也是LSTM-TCN模型应用的领域。Ultra-short term wind power prediction applying a novel model named SATCN-LSTM - ScienceDirect采用LSTM-TCN结合自关注机制进行超短期风电预测，并与不同预测模型进行精度比较。同样，提出的模型SATCN-LSTM优于LSTM、TCN和CNN-LSTM，并且略优于TCN-LSTM（无自注意机制）。与之前的工作一致，与其他深度学习模型相比，TCN和LSTM模型的结合显示出了很好的结果。尽管LSTM-TCN模型具有较高的精度和性能，但据我们所知，它还没有被用于光伏发电功率预测。本文研究了LSTM-TCN模型的单步和多步光伏功率预测。引入LSTM从光伏发电的历史时间序列中提取时间特征，然后结合TCN构建提取的时间特征与输出之间的连接。然后将所提出的模型与LSTM和TCN模型进行比较，以证明其有效性和准确性。

论文提出的模型结合LSTM和TCN，利用其历史和气象数据(如全球水平辐射)来预测PV功率。LSTM-TCN的流程图如下图所示。该模型由三层LSTM模型组成，用于从输入数据中提取时间特征。第一层有256个单元，第二层有128个单元，第三层有64个单元。在LSTM层中加入3个堆叠的TCN模型残差块。每个残差块具有相同数量的Filter和内核大小。残差块的膨胀系数分别为1、2和4。将TCN模型与LSTM相结合，提高了预测精度，并建立了特征与输出之间的联系。最后，使用Dense层进行维度变换。用于模型训练和验证的损失函数是均方误差（MSE），模型优化器是自适应矩估计（Adam）。值得注意的是，LSTM和TCN参数是在使用Keras调谐器函数搜索误差最小的最优参数后，测试了膨胀率、内核大小、Filter数量、LSTM单元和层数等几个值后选择的。

为了在时间序列预测中使用深度学习模型，必须将数据集转换为监督回归问题，其中输入特征和输出（标签）被呈现和定义。滑动窗口方法通过分割数据集来将数据集转换为监督学习问题，以获得一个序列（固定窗口大小）的观测值作为模型的输入，并获得固定数量的后续观测值作为输出，这些观测值可以是一步预测的一个后续观测值，也可以是多步预测的一系列后续观测值。通过每次滑动窗口一个时间步来对整个数据集重复分割，以获得下一个输入和输出序列。下图显示了多步时间序列预测（输入序列大小= 5，输出序列大小= 3）的滑动窗口过程。数据集分为训练数据集，用于训练所提出的深度学习模型和测试数据集，以评估模型的准确性和性能。

5 相关代码

import argparse
import time
 
import numpy as np
import pandas as pd
import torch
import torch.nn as nn
from matplotlib import pyplot as plt
from torch.nn.utils import weight_norm
from torch.utils.data import DataLoader
from torch.utils.data import Dataset
from tqdm import tqdm
 
# 随机数种子
np.random.seed(0)
 
 
class StandardScaler():
    def __init__(self):
        self.mean = 0.
        self.std = 1.
 
    def fit(self, data):
        self.mean = data.mean(0)
        self.std = data.std(0)
 
    def transform(self, data):
        mean = torch.from_numpy(self.mean).type_as(data).to(data.device) if torch.is_tensor(data) else self.mean
        std = torch.from_numpy(self.std).type_as(data).to(data.device) if torch.is_tensor(data) else self.std
        return (data - mean) / std
 
    def inverse_transform(self, data):
        mean = torch.from_numpy(self.mean).type_as(data).to(data.device) if torch.is_tensor(data) else self.mean
        std = torch.from_numpy(self.std).type_as(data).to(data.device) if torch.is_tensor(data) else self.std
        if data.shape[-1] != mean.shape[-1]:
            mean = mean[-1:]
            std = std[-1:]
        return (data * std) + mean
 
 
def plot_loss_data(data):
    # 使用Matplotlib绘制线图
    plt.figure()
 
    plt.plot(data, marker='o')
 
    # 添加标题
    plt.title("loss results Plot")
 
    # 显示图例
    plt.legend(["Loss"])
 
    plt.show()
 
 
class TimeSeriesDataset(Dataset):
    def __init__(self, sequences):
        self.sequences = sequences
 
    def __len__(self):
        return len(self.sequences)
 
    def __getitem__(self, index):
        sequence, label = self.sequences[index]
        return torch.Tensor(sequence), torch.Tensor(label)
 
 
def create_inout_sequences(input_data, tw, pre_len, config):
    # 创建时间序列数据专用的数据分割器
    inout_seq = []
    L = len(input_data)
    for i in range(L - tw):
        train_seq = input_data[i:i + tw]
        if (i + tw + pre_len) > len(input_data):
            break
        if config.feature == 'MS':
            train_label = input_data[:, -1:][i + tw:i + tw + pre_len]
        else:
            train_label = input_data[i + tw:i + tw + pre_len]
        inout_seq.append((train_seq, train_label))
    return inout_seq
 
 
def calculate_mae(y_true, y_pred):
    # 平均绝对误差
    mae = np.mean(np.abs(y_true - y_pred))
    return mae
 
 
def create_dataloader(config, device):
    print(">>>>>>>>>>>>>>>>>>>>>>>>>>>>创建数据加载器<<<<<<<<<<<<<<<<<<<<<<<<<<<<<<")
    df = pd.read_csv(config.data_path)  # 填你自己的数据地址,自动选取你最后一列数据为特征列 # 添加你想要预测的特征列
    pre_len = config.pre_len  # 预测未来数据的长度
    train_window = config.window_size  # 观测窗口
 
    # 将特征列移到末尾
    target_data = df[[config