Time-Series-Library项目分类实验结果复现问题解析
项目地址: https://gitcode.com/GitHub_Trending/ti/Time-Series-Library 实验复现差异现象
近期有研究人员在使用Time-Series-Library项目进行时间序列分类实验时，发现实验结果与论文报告存在显著差异。具体表现在多个模型（TimesNet、Informer、Autoformer、iTransformer等）在UEA数据集上的平均准确率明显低于论文结果。
差异原因分析
经过深入调查，发现导致实验结果差异的主要原因包括：
-
学习率策略差异：算法库实现中额外增加了学习率衰减过程，这一设计虽然降低了模型训练的波动性，但对于数据量较小的数据集（如EthanolConcentration仅261条训练数据）反而产生了负面影响。
-
框架适配简化：为了保持算法库的简洁性，在代码实现过程中对一些实验细节进行了调整，未能完全保持与原始实验的一致性。
-
数据规模影响：UEA数据集中部分子集数据量很小，模型训练结果容易产生较大波动。
-
PyTorch版本兼容性：不同版本的PyTorch在FFT实现上的差异也可能导致效果波动，特别是1.7.1版本前后的变化。
解决方案与建议
针对上述问题，项目团队已经采取了以下改进措施：
-
移除了学习率衰减：在最新提交中取消了学习率衰减过程，使训练过程更接近原始实验设置。
-
提供了专用实验代码库：团队公开了实验专用的代码库，其中包含了与论文实验完全一致的实现细节。
对于研究人员，建议采取以下实践：
-
使用最新代码：确保使用项目最新提交的代码版本，其中已修复学习率策略问题。
-
注意数据特性：对于小规模数据集，应适当增加实验重复次数以获得稳定结果。
-
版本一致性：保持PyTorch 1.7.1版本以确保FFT计算的一致性。
关于模型复现的深入思考
时间序列分析领域的研究人员应当注意：
-
算法库定位：统一算法库主要目的是提供标准化的实现框架，便于方法对比，但可能无法完全复现每个模型的原始论文结果。
-
实验细节重要性：输入长度设置、数据划分方式等看似微小的差异都可能显著影响最终结果。
-
复现策略：对于严格的对比实验，建议同时参考原始论文的官方实现，以确保实验条件完全一致。
通过理解这些技术细节和注意事项，研究人员可以更准确地评估和使用Time-Series-Library项目中的各类时间序列分析方法。
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
