论文笔记 -- Learning Representations for Time Series Clustering

Learning Representations for Time Series Clustering

原文： Learning Representations for Time Series Clustering (neurips.cc)

出处： NeurIPS-2019 （Neural Information Processing Systems）

摘要： 在类别信息不可用的情况下，时间序列聚类是一种基本的无监督技术。它已广泛应用于基因组数据，异常检测，以及模式识别等重要的领域。虽然基于特征的时间序列聚类方法对噪声和异常值具有鲁棒性，并且可以降低数据的维数，但它们通常依赖于领域知识来手动构建高质量的特征。seq2seq模型可以通过设计适当的学习目标，如重建和上下文预测，以无监督的方式从序列数据中学习表示。当将seq2seq应用于时间序列聚类时，获得一个有效表示序列时间动态、多尺度特征和良好聚类特性的表示仍然是一个挑战。如何最好地提高编码器的能力仍然是一个悬而未解决的问题。在本文中，我们提出了一种新的无监督时间表示学习模型，即深度时间聚类表示(DTCR)，它将时间重建和k-means目标集成到seq2seq模型中。这种方法改进了聚类结构，从而获得了特定于聚类的时间表示。此外，为了提高编码器的能力，我们提出了一种假样本生成策略和辅助分类任务。在大量的时间序列数据集上进行的实验表明，与现有的方法相比，DTCR是最先进的。可视化分析不仅显示了特定于聚类的表示的有效性，并且不会受k-means错误的影响，显示了学习过程的稳健性。

Motivation

1、基于特征的方法所选择的特征通常是线性的，但是非线性作用在时间序列中更为常见

2、如果使用下游分类任务对一般表示法进行微调，则可以显著提高其表示效果（与任务相关的表示的好处）

Contribution

1、提出了一种新的无监督的时间序列聚类时间表示学习模型，该模型集成了时间重构和K-means目标来生成特定于聚类的时间表示。

2、提出了一种时间序列的假样本生成策略，并引入了编码器的辅助分类任务，以提高其能力。

3、在大量的基准时间序列数据集上的实验结果表明，该模型取得了最先进的性能。可视化分析说明了聚类特定的时间表示的有效性，并证明了学习过程的稳健性。

Model

DTCR工作

1、DTCR将时间重建和k-means目标整合到seq2seq模型中。

2、DTCR将双向扩张递归神经网络作为编码器，使学习到的表示能够捕获时间序列的时间动态和多尺度特征。

3、DTCR学习到的表示在k-means目标的指导下形成了一个聚类结构。

4、DTCR为了进一步提高编码器的能力使用了一种时间序列的假样本生成策略，并引入了该编码器的辅助分类任务。

DTCR流程

输入

数据集$D$、类簇个数$K$、更新间隔$T$、最大迭代次数$MaxIter$

输出

使用K-means的聚类结果$s$

变量定义

时间序列： D = { x 1 , x 2 , … , x n } D=\{x_1, x_2,\dots ,x_n\} D={ x1​,x2​,…,xn​}，其中$x_i$表示单个时间序列，为一个$T$维实值向量， x i = { x i 1 , x i 2 , … , x i T } x_i=\{x_{i1},x_{i2},\dots,x_{iT}\} xi​={ xi1​,xi2​,…,xiT​}

编码器：$fenc:x_i\to h_i$ 双向多层扩张递归神经网络

解码器：$fdec:h_i\to x_i$ 单层递归神经网络

$h_i$：$m$维的时间序列潜在表示

算法流程

通过最小化整体损失来达到模型的优化效果，整体损失定义为：
$$L_{DTCR}=L_{reconstruction}+L_{classification}+L_{k-means}$$
其中:

$L_{reconstruction}$