- 博客(20)
- 收藏
- 关注
RSS订阅
原创 时间序列预测模型——索引篇
的建模策略，既可以先通过下采样分解序列，然后将不同尺度的数据送入相似的多尺度分支，将不同分支的结果混合，如TimeMixer、MICN；模式，计算不同patch_embedding(时间上) 的注意力和不同变量间的注意力，最有名的是Crossformer（出现时间较早），它还是用到分层的encoder-decoder模式，不同层级代表不同的时间尺度。特性也被关注起来，即：时间序列在不同的采样尺度上呈现出不同的时间变化，而在时间细粒度上，细尺度和粗尺度往往反映不同维度的变化趋势（如宏观和微观）。
2024-12-05 17:35:15
1032
原创 （18）时间序列预测之FiLM
现有（2022年）预测模型增加模型的复杂性，希望他们能够捕获关键和复杂的历史信息，但结果不尽如人意，下图将真实世界 ETTm1 数据集的真实时间序列与普通Transformer方法和LSTM的预测进行了比较，可以观察到，预测完全偏离了真实情况的分布。作者认为，这些错误来自于这些模型在试图保留真实信号的同时错误地捕获了噪声。准确预测的两个关键是：1) 如何尽可能完整地捕获关键的历史信息；2) 如何有效去除噪声。因此，为了避免预报不准确，我们不能通过简单地使模型更复杂来改进它。
2024-12-04 20:28:32
1076
原创 （17）时间序列预测之Crossformer（跨时间+跨变量）
数据分段将输入序列转变为二维向量数组；使用两阶段注意力层来高效地捕获跨变量和跨时间的依赖关系；采用分层编码器-解码器结构，在不同层次（尺度）上利用信息进行预测。在本文中，跨维度（cross-dimension）指的是跨变量【ICLR 2023】时间序列预测实战Crossformer（附代码+数据集+详细讲解）
2024-12-04 16:38:36
1394
原创 （16）时间序列预测之PRformer（PRE+模式）
最近的研究表明，线性模型在时间序列预测方面优于Transformer，例如DLinear。本文认为造成这种情况的主要原因：现有的Transformer依赖于时间编码来确定时间位置，这可能无法有效地捕获序列时间模式，从而导致时间序列预测的不足。这个限制也阻碍了较长时间窗口的利用，因为增加了窗口长度通常会导致性能急剧下降。此外，Transformer关于序列长度的计算复杂度为On2dO(n^2d)On2d，与窗口长度呈指数级关系，从而限制了更长的回望窗的使用。
2024-12-04 12:59:03
1124
原创 （15）时间序列预测之CARD（取名鬼才）
CD：在进行多变量预测时，利用到了不同预测变量之间的依赖关系CI更具有鲁棒性，如patchTST，Dlinear，但忽略不同通道之间的相关性会限制模型的预测能力。CD更高的建模能力，但考虑到时间序列预测通常涉及高噪声水平，典型的基于Transformer的CD设计预测模型可能会受到过拟合噪声的影响，从而导致性能受限。CARD: CHANNEL ALIGNED ROBUST BLEND TRANS- FORMER FOR TIME SERIES FORECASTING-csdn博客。
2024-12-03 21:22:57
1142
原创 （14）时间序列预测之ModernTCN
基于的模型和基于MLP的模型具有全局有效感受野（ERF），因此可以更好地捕获长期时间（跨时间）依赖性，从而显著优于传统的TCN。而SCINet和MICN主要关注的是设计更复杂的结构来处理传统的卷积，而忽略了更新卷积本身的重要性，下图给出了这两种模型的感受野对比。其中，ModernTCN通常采用大核，来有效地提高ERF。Depthwise卷积与Pointwise卷积。
2024-12-01 17:27:40
829
原创 （13）时间序列预测之SCINet
时间序列的一个独特性质是，在降采样为两个子序列后，时间关系（例如，数据的趋势和季节成分）在很大程度上被保留了下来。因此，可以通过递归下采样时间序列得到不同分辨率（可视为是时间间隔大小）的子序列，接着使用一组丰富的卷积滤波器来提取多分辨率的动态时间特征。时序预测篇-SCINet阅读笔记。
2024-11-30 18:19:36
929
原创 （12）时间序列预测之MICN（CNN）
TCN：使用因果卷积来建模时间因果关系，并使用扩张卷积来扩展感受野。它可以更好地整合序列的局部信息。然而，受感受野大小的限制，TCN往往需要很多层来建模时间序列的全局关系，这大大增加了网络的复杂性和模型的训练难度。：时间算复杂度高，许多tokens之间的注意力计算是没有必要的。而且此类模型不能像CNN结构那样对局部特征进行有针对性的建模。在本文中，我们将 CNN 的建模视角与 Transformers 的建模视角相结合，从序列本身的现实特征，即局部特征和全局特征相关性来构建模型。
2024-11-30 13:25:52
1365
原创 （11）时间序列预测之xLstm
引入了指数门（红色）以及归一化和稳定化其整体结构如下（未涉及稳定化）所示：对更新门和遗忘门进行稳定化处理:同时，还支持以下结构记忆混合（Memory Mixing）：sLSTM允许通过循环连接（recurrent connections）进行记忆混合，这在原始的LSTM中是不可能的。这种新的记忆混合技术允许sLSTM在不同的内存单元之间共享信息。多头部结构（Multi-Head Structure）：sLSTM可以具有多个头部，每个头部都有自己的记忆混合，但头部之间没有跨头的记忆混合。
2024-11-29 13:55:13
1368
原创 （10）时间序列预测之TimeXer
内生变量：只关注感兴趣的目标外生变量：为内生变量提供有价值的外部信息外生变量的作用从时间序列建模的角度来看，外生变量被引入到预测器中是为了提供信息，而不需要预测。将外生变量与内生变量等同对待，不仅会造成时间和记忆的极大复杂性，而且还会涉及到内生序列与外部信息之间不必要的相互作用。其次，外部因素可能会对内生序列产生因果影响，因此模型需要对不同变量之间的系统时间滞后（systematic time lags）进行推理。
2024-11-26 16:59:34
1309
原创 （9）时间序列预测之TimeMixer
时间序列范式序列分解将复杂的时间模式分解为更可预测的分量，如季节项和趋势项。多尺度（多周期）分析将混合的时间变化分解为具有不同周期长度的多个分量，这使得深度模型能够从纠缠的变化中突出时间序列的固有属性，进一步提高预测性能。解纠缠将时间序列不同尺度分开，各自看各自的在不同尺度内的变化，忽略掉不同尺度间的变化（可以是为短期和长远不同尺度间的关系，如长期的上涨和短期上涨之间的联系）时间序列的细粒度时间序列在不同的采样尺度上呈现出不同的时间变化，例如。
2024-11-26 11:59:57
915
原创 （7）时间序列预测之TimesNet
周期内与周期间的时间依赖关系多变量时间序列如果具备周期性，那么单个周期内的值之间以及不同周期内同一位置的值之间应具备关联。具体就是：周期内(intraperiod)变化：相邻区域时间（短期时间模式）（例如这周一和周二之间的变化）周期间(interperiod)变化：相邻时段的变化（连续不同时期的长期趋势）（例如这周一和下周一之间的变化）而这可以利用二维卷积操作进行捕获，在此之前要获取序列对应的二维图像，接下来让我们看看TimesNet是如何做的。
2024-11-23 13:05:46
926
原创 （6）时间序列预测之iTransformer
模型设计思想作者认为无论是逐点还是逐片段的注意力都存在他们的问题。逐片段虽然使每个序列元素语义信息更丰富，但不同通道之间的片段是存在分布不对齐的问题的分布不对齐可以这样理解：由于划分patch时是沿时间步划分的，每个通道划分的每段数据的划分区间相同，简单粗暴，没有关注到通道的个性（即每个通道信息分布尺度和密集程度等的不同）DLinear更重要的意义是，他从某种程度上证明了在时域上应用过于复杂的依赖提取模型可能是没必要的，提取到的特征质量有瓶颈先前的模型要么不显式建模多变量依赖关系。
2024-11-22 16:44:49
574
原创 （2）时间序列预测之Autoformer
自相关性和自注意力机制不同于驻点自注意力机制，自相关性关注序列级的关联性。具体地说，对于时间依赖性，作者基于周期性找到子序列之间的相关性。相反，自注意力机制只关注散点之间的关系。尽管部分自注意力机制考虑到局部信息，但他们只利用这些注意力机制挖掘逐点间的依赖性。在信息聚合方面，作者采用延时聚合块对底层周期的相似子序列进行聚合。相反，自关注通过点积将选择的点聚集起来。得益于其固有的稀疏性和子序列级表示聚合，自相关可以同时提高计算效率和信息利用率。优点复杂度OL⋅logLOL⋅logL。
2024-11-21 16:07:52
1262
原创 （1）时间序列预测之Transformer模型的计算过程和代码实现
优点：自注意力允许每个时间步关注其他所有时间步的信息（即计算的是不同时间步之间的注意力），且能够并行地提取全局时域信息。（RNN一般是串行全局，CNN则并行局部）缺点：过高的计算复杂度OL2O(L^2)OL2并未显式建模不同变量的跨变量(inter-series)依赖关系，仅在MLP生成每个时间步嵌入时，将不同变量以一维卷积（线性加权）的方式结合的到一起。
2024-11-20 23:29:41
930
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人