Scaleformer开源项目教程

Scaleformer开源项目教程

scaleformer 项目地址: https://gitcode.com/gh_mirrors/sc/scaleformer

1. 项目介绍

Scaleformer是一个用于时间序列预测的迭代多尺度精炼Transformer模型。该项目基于Autoformer论文的公开实现，并融合了FEDformer、FiLM和NHits的相关部分。Scaleformer通过在多个尺度上迭代精炼预测的时间序列，使用共享权重的架构适应和特别设计的归一化方案，实现了显著的性能提升，同时额外计算开销最小。

主要特点：

• 多尺度迭代精炼：在多个尺度上迭代精炼预测结果。
• 共享权重架构：减少模型复杂度。
• 特别设计的归一化方案：提高模型性能。
• 显著性能提升：在各种公开数据集上表现优于基线模型。

2. 项目快速启动

安装依赖

首先，克隆项目仓库并安装所需依赖：

git clone https://github.com/BorealisAI/scaleformer.git
cd scaleformer
pip install -r requirements.txt

下载数据集

从Autoformer仓库提供的链接下载数据集，并将其放置在当前目录的dataset文件夹中：

mkdir -p dataset
# 从Tsinghua Cloud或Google Drive下载数据集
# 例如：exchange_rate.csv, traffic.csv
mv downloaded_dataset.csv dataset/

运行单个实验

使用以下命令运行单个实验：

python -u run.py --data_path [DATASET] --model [MODEL] --pred_len [L] --loss [LOSS_FUNC]

例如，使用Informer-MSA模型对traffic数据集进行预测，输出长度为192，使用自适应损失函数：

python -u run.py --data_path traffic.csv --model InformerMS --pred_len 192 --loss adaptive

运行所有实验

使用run_all.sh脚本运行所有实验：

sh run_all.sh

实验结果将保存在results.txt文件中，日志文件可以在slurm目录中找到。

3. 应用案例和最佳实践

应用案例

• 金融时间序列预测：预测股票价格、汇率等金融数据。
• 交通流量预测：预测交通流量，优化交通管理。
• 能源消耗预测：预测电力消耗，优化能源分配。

最佳实践

• 数据预处理：确保数据清洗和标准化，以提高模型性能。
• 模型选择：根据具体任务选择合适的Transformer架构。
• 超参数调优：通过调整超参数（如预测长度、损失函数等）优化模型表现。
• 模型评估：使用多种评估指标（如MSE、MAE）全面评估模型性能。

4. 典型生态项目

• Autoformer：基于Transformer的时间序列预测模型。
  • GitHub链接：https://github.com/thuml/Autoformer
• FEDformer：基于频率域的Transformer模型。
  • GitHub链接：https://github.com/MAZiqing/FEDformer
• FiLM：特征注入层模型。
  • GitHub链接：https://github.com/tianzhou2011/FiLM
• NHits：基于神经网络的层次时间序列预测模型。
  • GitHub链接：https://github.com/Nixtla/neuralforecast

通过结合这些生态项目，可以进一步扩展和优化Scaleformer的应用场景和性能。

scaleformer 项目地址: https://gitcode.com/gh_mirrors/sc/scaleformer