qq_33712422的博客

它接受查询 (queries)，键 (keys)，值 (values) 以及注意力掩码 (attn_mask)，应用傅立叶变换来发现周期性依赖，然后使用聚合函数来处理时间延迟。self.dropout = nn.Dropout(attention_dropout) #注意力机制的dropout率。self.mask_flag = mask_flag #掩码。#实现自相关的训练聚合，该方法首先要找到最重要的时间延迟，然后根据延迟进行聚合。#提供完整的注意力层接口。

top_list = top_list.detach().cpu().numpy() #从gpu转移cpu并转换为numpy数组。return period, abs(xf).mean(-1)[:, top_list] #返回周期和这些周期对应的平均振幅。_, top_list = torch.topk(frequency_list, k) #找到top k个频率成分。frequency_list = abs(xf).mean(0).mean(-1) #计算变换后振幅的均值。

from utils.losses import mape_loss, mase_loss, smape_loss #自定义损失函数。from data_provider.data_factory import data_provider #数据提供模块。#选择优化器，该函数使用adam优化器，从传入的参数self 添加self.args.learning_rate学习率。#验证方法，通过计算模型验证的误差来评估模型性能，即向前传播时不根据学习率计算梯度。

mask[mask <= self.args.mask_rate] = 0 # masked #被掩盖。mask[mask > self.args.mask_rate] = 1 # remained #保留。mask[mask <= self.args.mask_rate] = 0 # masked #被掩盖。mask[mask > self.args.mask_rate] = 1 # remained #保留。#将数据的数据类型转化为浮点型，加载到GPU或CPU。

将输入数据和真实标签的最后一维拼接起来，形成gt（真实值图），将输入数据和预测结果的最后一维拼接起来，形成pd预测图。#选择优化器，该函数使用adam优化器，从传入的参数self 添加self.args.learning_rate学习率。#从data_provider函数获取数据集合和数据加载器，并提供标志（train，val，test）#将输出和真实标签从模型运行的设备转移到cpu，并将数据转换为numpy格式。#验证方法，通过计算模型验证的误差来评估模型性能，即向前传播时不根据学习率计算梯度。

将attens_energy列表中的所有numpy数组连接起来，并转换为一维数组train_energy。#将attens_energy列表中的所有numpy数组连接起来，并转换为一维数组test_energy。#从data_provider函数获取数据集合和数据加载器，并提供标志（train，val，test）#将test_labels列表中的所有数组连接起来，并转换为一维数组test_labels。#将train_energy、test_energy列表中的数组连接起来，

将数据的数据类型转化为浮点型，加载到GPU或CPU。#早起停止函数，避免过拟合 patience 容忍升高次数。#将转化为浮点型的数据加载到cpu或gpu。#早起停止函数，避免过拟合 patience 容忍升高次数。#将转化为浮点型的数据加载到cpu或gpu。#验证方法，通过计算模型验证的误差来评估模型性能。#验证方法，通过计算模型验证的误差来评估模型性能。#将模型中的梯度设置为0。#计算当前梯度，反向传播。#根据梯度更新网络参数。#关闭梯度计算，节省内存和计算资源。#关闭梯度计算，节省内存和计算资源。