SAN与PatchTST结合应用中的参数调优实践

SAN与PatchTST结合应用中的参数调优实践

SAN Pytorch implementation of NIPS'23 paper: Adaptive Normalization for Non-stationary Time Series Forecasting: A Temporal Slice Perspective 项目地址: https://gitcode.com/gh_mirrors/san8/SAN

引言

在时间序列预测领域，SAN(Stationary Attention Network)和PatchTST作为两种具有代表性的模型架构，各自展现了优异的性能表现。然而，当尝试将这两种方法结合使用时，研究人员常常会遇到模型性能下降的问题。本文基于实际项目经验，深入探讨SAN与PatchTST结合应用中的关键参数设置问题。

模型架构特点分析

SAN采用非重叠切片(non-overlapping patching)的处理方式，而PatchTST则使用重叠切片(overlapping patching)策略。这种根本性的差异导致了两者在结合使用时需要特别注意参数调整：

1. 切片长度(period_len)：这是影响模型性能的关键参数之一，不同数据集需要设置不同的最优值
2. 学习率(station_lr)：SAN特有的学习率参数需要精细调整
3. RevIN层处理：PatchTST中原有的RevIN层在结合使用时需要被注释掉

各数据集最优参数配置

通过大量实验验证，针对不同数据集的最优参数配置如下：

| 数据集 | 切片长度(period_len) | SAN学习率(station_lr) | |-----------|-------------------|-------------------| | Electricity | 24 | 0.0001 | | Exchange | 24 | 0.001 | | Weather | 12 | 0.0001 | | ETTh1 | 4 | 0.0001 | | ETTm2 | 4 | 0.00005 |

实际应用中的注意事项

1. 学习率调整策略：建议采用原始SAN模型的默认学习率调整策略，而非完全照搬PatchTST的复杂调整方案，以保持对比的公平性。

2. 数据集规模考量：对于规模相近的数据集(如Exchange和ETTh)，可以采用相似的超参数配置，但需要根据实际效果进行微调。

3. 模型初始化：在结合使用时，建议先单独调优每个组件的性能，再尝试结合，这样可以更容易定位性能瓶颈。

性能优化建议

当遇到结合后性能下降的情况时，可以尝试以下优化方向：

1. 逐步调整切片长度：从较小的值(如4)开始尝试，逐步增加，观察性能变化
2. 学习率精细调节：特别是SAN特有的station_lr参数，建议采用较小的初始值
3. 模型组件隔离测试：通过控制变量法，确定性能下降的具体原因

结论

SAN与PatchTST的结合应用虽然面临调参挑战，但通过合理的参数配置和优化策略，仍然可以实现较好的预测性能。关键在于理解两种模型的架构差异，并根据具体数据集特点进行针对性调整。未来研究可以进一步探索自动化的参数优化方法，降低模型结合使用的调参难度。

SAN Pytorch implementation of NIPS'23 paper: Adaptive Normalization for Non-stationary Time Series Forecasting: A Temporal Slice Perspective 项目地址: https://gitcode.com/gh_mirrors/san8/SAN