Set Functions for Time Series

解决问题

1）不规则采样
2）不同的测量步长

模型

概念

1、Time series，我们定义时间序列为一个集合$S_i$，集合长度为M。即： S i : = { s 1 , . . . , s M } S_i:=\{s_1,...,s_M\} Si​:={s1​,...,sM​}。

其中每一个观测点 $s_i$定义为如下三元组$(t_j,z_j,m_j)$，三元组中$t_j$代表时间；$z_j$为观测值； m j ∈ { 1... D } m_j \in \{1...D\} mj​∈{1...D}为模态指示，D代表时间序列的维度（个人理解：类似于同一个时间点可以观测到多个信息，例如病人在5点的血压和脉搏，这是两个维度的值）。

完整的时间序列定义为 S i = { ( t 1 , z q , m 1 ) , . . . , ( t M , z M , m M ) } S_i=\{(t_1,z_q,m_1),...,(t_M,z_M,m_M)\} Si​={(t1​,zq​,m1​),...,(tM​,zM​,mM​)}

2、数据集，数据集$D$中包含n条Time series。 D : = { ( S 1 , y 1 ) , . . . , ( S N , y N ) } D:=\{(S_1,y_1),...,(S_N,y_N)\} D:={(S1​,y1​),...,(SN​,yN​)}，其中$S_i$表示第i条时间序列，而 y i ∈ { 1 , . . . , C } y_i \in \{1,...,C\} yi​∈{1,...,C}是其标签。

3、Non-synchronized time series， ∣ { ( t k , z k , m k ) ∣ t k = t j } ∣ ≠ D |\{(t_k,z_k,m_k)|t_k=t_j\}| \neq D ∣{(tk​,zk​,mk​)∣tk​=tj​}∣​=D，某一个（或多个）时间点的某一个（或多个）维度的值不存在。

提出模型

平均聚集函数为：

$f(S)=g(\frac{1}{|S|}{\sum }_{s_j\in S}h(s_j))$

其中$h:\Omega \to R^d$，$g:R^d\to R^C$是神经网络。该函数主要是得到一系列时间点（时间序列）的平均表征。

time encoding

时间编码通过将每个观测值的时间t传递给频率变化的多个三角函数，将一维时间轴转换为多维输入。

$x_{2k}(t):=sin(\frac{t}{t^{2k/\tau }})$

$x_{2k+1}(t):=cos(\frac{t}{t^{2k/\tau }})$

$\tau$表示高维的时间编码（$\tau \in N^{+}$），编码位置为$x\in R^{\tau }$， k ∈ { 0 , . . . , τ / 2 } k \in \{0,...,\tau/2\} k∈{0,...,τ/2}，t表示数据中预期的最大时间标度。

通过time encoding，所有观测值$s_j$变为$s_j=(x(t_j),z_j,m_j)$

Attention-based Aggregation

通过Time encoding可以将任意大小的Time series编码为固定大小的表示形式。但是对于越来越大的集合大小，许多不相关的观察结果可能会影响平均聚集函数的结果。

（本部分类似于Transformer中的Attention机制，具体细节留个坑，日后来填）。

作者提出，他们的Attention机制与Transformer中的是有区别的。Transformer中使用来自所有集合元素的信息来计算单个集合元素的嵌入，从而导致运行时间和空间复杂度为$O(n^2)$。 相比之下，我们的方法独立地计算集合元素的嵌入，从而降低了$O(n)$的运行时和内存复杂性。

Online monitoring scenario

由于用于在当前时间点进行预测的一组观测值是在进行预测的时间点可用的全部观测值的子集。

个人理解：仅仅计算时间j之前的时间点的相互权重。
$$f(S_i)=\sum _{j\le i}\frac{exp(e_j)}{{\sum }_{k\le i}exp(e_k)}h(s_j)=\frac{{\sum }_{j\le i}exp(e_j)h(s_j)}{{\sum }_{k\le i}exp(e_k)}$$

实验

任务

1. 预测患者死亡率
2. 预测患者败血症

数据集

1. Physionet 2012 Mortality Prediction Challenge
2. Physionet 2019 Sepsis Early Prediction Challenge

对比方法

1. GRU-simple(2018)
2. GRU-Decay(2018)
3. Phased-LSTM(2016)
4. Interpolation Prediction Networks(2019)
5. Transformer(2017)
6. Latent-ODE(2019)

实验结果