NeurIPS 2022|基于时频一致性的时间序列自监督对比预训练方法

Self-supervised contrastive pre-training for time series via time-frequency Consistency

1 背景和问题

时间序列在许多领域发挥着重要作用，包括临床诊断、交通分析和气候科学。虽然表示学习在更广泛的范围内提高了对时间序列的分析，但时间数据的通用性表示学习仍然是一个具有根本挑战性的问题。预训练的核心是如何在不同的数据集中处理时间序列，以提高对来自不同数据集的新时间序列的泛化。通过在数据集上训练神经网络模型，并将其转移到新的目标数据集进行微调，即在没有对该目标数据进行显式再训练的情况下，最终的性能至少与针对目标数据集定制的最先进模型一样好。但是由于存在分布偏移、目标数据集的属性未知等多种原因，预期的性能增益往往无法实现，这些原因往往与时间序列的复杂性相结合，例如：数据集之间的时间动态变化大，语义变化大，不规则采样，系统因素等。以上这些时间序列的复杂性限制了预训练过程中的知识总结和转移。 此外，由于目标数据集在预训练期间不可用，要求预训练模型捕获一个潜在的特性，该特性适用于未见过的目标数据集。这一需求的核心是在预训练和目标数据集之间共享同一个属性的想法，该属性将实现从预训练到微调的知识转移。在计算机视觉（CV）中模型捕捉通用的视觉元素，如边缘和形状，这些元素与图像风格和任务无关。在自然语言处理（NLP）中，不同语言都遵循相似的语义和语法。但由于时间的复杂性，时序数据尚未建立一个通用的假设或者规律。 基于以上问题和挑战，论文作者提出了时频一致性（TF-C）建模，引入了一种在时间序列中进行自我监督预训练的策略。即同一时间序列样本学习的基于时间和基于频率的表示，在时间-频率空间中应该比不同时间序列样本的表示更接近。