【序列表征、自监督学习】Meta-ma：Correlated Time Series Self-Supervised Representation Learning via Spatiotempora

原创

已于 2023-10-31 16:03:28 修改 · 430 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#推荐算法 #python

于 2023-10-08 11:14:18 首次发布

本文提出一种新的时空引导的时间序列自监督表示学习方法，通过考虑时序和空间关系来改善预训练模型，尤其适用于时空预测任务。研究解决了单序列预训练的不适配问题和对比学习中的伪负样本，采用无负样本的BYOL框架。实验结果在METRLA数据集上显示了时空组件的有效性。

#论文题目：Correlated Time Series Self-Supervised Representation Learning via Spatiotemporal Bootstrapping（基于时空引导的相关时间序列自监督表示学习）
#论文地址：https://arxiv.org/abs/2306.06994
#论文源码开源地址：https://github.com/bonaldli/Spatiotemporal-TS-Representation-Learning
#论文所属会议：CASE 2023
#论文所属单位：香港科技大学、商汤研究院、上海交大清远研究院

一、导读

时间序列无监督预训练的文章，相比原来的TS2Vec等时间序列表示学习工作，核心在于提出了将空间信息融入到预训练阶段，即在预训练阶段考虑各个序列之间的关系。因此，本文提出的方法也更适合作为时空预测领域的预训练模型。本文主要有以下贡献：

大多数过去的方法学习的都是序列整体的表示，而时间序列预测任务更关注每个时间步的表示，因此上下游任务存在一定的不适配问题。
过去的工作都是在单个时间序列本身上进行预训练，没有考虑到各个序列之间的关系。
以往的对比学习预训练方法，在构造负样本的过程中经常出现伪负样本问题（即构造的负样本其实应该是正样本），这导致了对模型效果的负向影响。

针对上述3个问题，本文提出了一系列解决方法，核心是在预训练阶段同时考虑时序关系和空间关系，并且将对比学习框架改为不依赖正样本的BYOL。

提出了一个表示学习框架来学习任意时刻任意实例的点级表示，为了捕捉空间和时间相关性，我们在自监督学习框架中利用了来自预定义相邻矩阵的历史数据和邻域信息。
为了避免时间序列数据对比学习范式中频繁出现的假阴性，我们在模型中引入了一个无负样本的自监督学习框架。我们定义空间和时间目标，并使用屏蔽视图来预测目标的表示，以学习相关性。

具体来说：

考虑了周期性（传统的对比学习方法经常受到假阴性样本的问题：基于时间序列数据集的先验知识构建正样本对或负样本，或者对时间序列的数据分布做出强假设。由于正对之间的大量重叠，这些方法可能会丢失各种正对。）
整个时间序列的表示不能用于推断特定的时间步长或子序列。（有些时间序列表示方法是针对整个时间序列的全局性特征进行建模的，而不是关注单个时间步长的特定信息。这意味着它们可能不具备直接推断或预测某个特定时间步长的能力。例如，一些特征提取方法可能计算整个时间序列的统计属性，这些属性反映了整个序列的趋势和分布，但它们并不包含关于某个时间步长的详细信息；；；；；某些时间序列表示方法也可能难以用于推断时间序列中的子序列。这是因为它们可能无法捕捉时间序列中的局部模式或特定时间段的信息。如果一个表示方法主要关注全局性特征，那么它可能忽略了序列中不同时间段的变化或特点）

二、模型结构

在这里插入图片描述

初始定义

时间序列 $X$ _i = { $x$ _i,1, $x$ _i,2, · · · , $x$ _i,T }是一系列测量值的时间序列，其中测量值 $x$ _i,t 在时间戳 $t$ 处从第 $i$ 个实例记录， $T$ 是总时间范围。相关的时间序列集合表示为 $X$ = { $X$ ₁， $X$ ₂，· · ·， $X$ _N}，其中来自不同实例的时间序列