- 博客(16)
- 收藏
- 关注
RSS订阅原创 时序精选论文09｜SOFTS: 基于新型MLP通道融合架构的时间序列预测模型（代码解读附源码）
相比之下，通道依赖策略通过引入专门的通道信息融合机制来促进通道间的信息交流。然而，这类方法面临两难：一方面，它们可能过度依赖通道间的相关性，从而在面对序列非平稳性时缺乏足够的鲁棒性；这种方法因其对非平稳数据的强大鲁棒性而受到广泛青睐，但它未能考虑通道间的相互关联，限制了其性能的进一步优化。因此，如何利用通道独立的鲁棒性，并且设计更鲁棒和高效的通道交互模块，是学术界优化多元时序预测方法所必须要考虑的问题。是单独建立了一个模块实现的，基于此模块建立的SOFTS模型。SOFTS 要解决的问题。
2024-11-07 15:41:11
441
原创 【ICLR 2022】时序精选论文08｜Pyraformer: 基于金字塔注意力机制与多尺度辨识卷积的时间序列预测模型（代码解读附源码）
CNN和RNN的时间复杂度为 O(L) ，而信号遍历路径的最大长度为 O(L) ，Transformer的信号遍历路径为 O(1) ，而时间复杂度为 O(L^2) ，它无法处理很长的序列。Transformer的变体也很少有能够实现小于 O(L) 的最大路径长度，同时大大降低时间和空间复杂度。处理长距离依赖性，其特征在于时间序列中任何两个位置之间的最长信号遍历路径的长度。路径越短，捕获的依赖性越好。基于时间序列数据面临的挑战：建立一个灵活但简约的模型，能够捕获不同范围的时间依赖性。
2024-08-20 13:27:14
340
原创 【NIPS 2022】时序精选论文07｜Non-stationary Transformers: 引入非平稳性信息的平稳化序列预测模型（代码解读附源码）
整体代码框架基本上与传统 Transformer 类似，基本上只有在内嵌的注意力机制模块有区别，因此这里只对关键部分进行讲解，代码整体框架可参考 Transformer。非平稳时序很难预测，尤其对模型泛化性影响很大，试想下推理阶段的数据分布变了，模型很难适应这种变化。，比如很早以前的差分就是一种平稳化操作。序列平稳化能增强数据的可预测性，但这时也会带来一个问题，叫。，通过MLP层进行定义，使得参数可学习，以便于更好的融合到注意力网络中。代码中整体注意力的计算方式与原生Transformer类似，
2024-07-04 14:45:50
1234
原创 【ICML 2022】时序精选论文06｜FEDformer: 基于频域应用注意力机制的长期序列预测模型（长时预测效果超SOTA | 代码解读附源码）
待预测的序列长度远远大于输入长度，即基于有限的信息预测更长远的未来。上述需求使得此预测问题极具挑战性，对于模型的预测能力及计算效率有着很强的要求。另外，然而在时间序列预测问题中，序列的分布可能随时间轴的推进不断变化，这就需要模型具备更强的外推能力。整体代码框架基本上与Autoformer类似，基本上只有在内嵌的注意力机制模块有区别，因此这里只对关键部分进行讲解，代码整体框架可参考Autoformer。FEDformer要解决的问题。FEDformer解决的方式。FEDformer框架图。
2024-06-28 19:52:07
1326
原创 【NIPS 2021】时序精选论文05｜Autoformer: 基于深度分解架构和自相关机制的长期序列预测模型（代码解读附源码）
突破将序列分解作为预处理的传统方法，提出深度分解架构（Decomposition Architecture），能够从复杂时间模式中分解出可预测性更强的组分。基于随机过程理论，提出自相关机制（Auto-Correlation Mechanism），代替点向连接的注意力机制，实现序列级（series-wise）连接并减小复杂度（可见问题1），打破信息利用瓶颈。代码中，实现a的方式是将原始序列分解为季节性变量与趋势性变量，然后注意力机制主要是对季节性变量进行计算；趋势性是在解码器时，与解码器每次计算完注意力后
2024-06-21 13:10:17
711
原创 【AAAI 2021】时序精选论文04｜Informer: 更高性能的Transformer（代码解读附源码）
可以注意的是，一般性的Transformer中内嵌的注意力结构都为 FullAttention，所以将编码器、解码器里面的内嵌结构都替换为FullAttention后，则为传统Transformer结构了。通过使用 torch.arange(L_Q).unsqueeze(1) 与 index_sample 结合，你可以为每个查询选择对应的 sample_k 个键。torch.arange(L_Q) 生成一个从 0 到 L_Q-1 的整数序列，其中 L_Q 是查询的长度。AAAI 2021最佳论文。
2024-05-20 13:43:54
1291
原创 【ICLR 2023】时序精选论文03｜TimeNet: 借助FFT的周期性提取与二维空间建模（代码解读附源码）
近年来，深度模型被广泛用于时序分析任务中，例如循环神经网络（RNN）、时序卷积网络（TCN）和变换器网络（Transformer）。然而，前两类方法主要关注捕捉临近时刻之间的变化，在长期依赖上建模能力不足。Transformer虽然在建模长期依赖上具有天然优势，但是由于现实世界的时序变化极其复杂，仅仅依靠离散时间点之间的注意力（Attention）难以挖掘出可靠的时序依赖。
2024-05-15 19:47:37
566
原创 【ICLR 2023】时序精选论文02｜PatchTST: 片段输入与独立变量思想（代码解读附源码）
本文主要结合PatchTST的源码对内部工作原理进行学习解析文章提出的主要几个创新点：1、主要是对于输入数据的改变，将已经切分好的样本（数据预处理阶段构建的训练集）再输入时切分为小片段（这个操作在后面的Crossformer中的输入也出现了，或许此类操作是着实有效的）；2、独立的变量处理，主要意思是在变量的维度上进行单独的计算，不同于一般性的Transformer的编码计算（这一点的代码逻辑与Crossformer中也很类似，可以参考文章。
2024-04-30 17:29:04
1991
1
原创 零基础完整版入门经典深度学习时间序列预测项目实战+最新前沿时间序列预测模型代码讲解学习整理（附完整可运行代码）
本专栏主要整理了作者在时间序列预测领域内的一些学习思路与代码整理，帮助大家在初进入此领域时，可以快速掌握代码进行实战操作，对代码的操作再结合论文阅读肯定是上升更快嘛，作者也愿意和大家一起讨论进步，下面的内容会逐步更新，作者主页的资源列也会放出一些可下载的资源供大家参考学习噢。
2024-04-27 23:27:50
407
原创 Centos系统docker安装步骤（保姆版，包括可能出现的bug解决方案）
Centos系统docker安装步骤（保姆版，包括可能出现的bug解决方案）
2024-04-27 22:52:24
391
1
原创 基于LSTM的时间序列预测代码示例
作者是一名目前在于时间序列预测的算法工程师，基于自己的学习记录，对代码进行了整理，供初学者进行参考和学习，后续会对自己对于前沿模型的理解和学习心得以及代码都会整理到博客上，希望和大家多多讨论哦。
2024-04-26 22:30:39
1219
4
原创 【ICLR 2023】时序精选论文01｜CrossFormer: 实现多维变量间的羁绊（代码解读附源码）
作者认为先前的基于Transformer的模型在捕获长期时间依赖性上可谓是下足了功夫，还提出各种Attention变体来降低复杂度。然而，这些方法都忽略了对不同变量的“跨维度依赖性”的捕获，也就是多变量时序中不同变量序列的相关性。作者认为对这种相关性的捕获是重要的，尤其是对于多变量时序预测任务来说。大框架上仍然使用了Encoder-Decoder结构。
2024-04-26 16:27:13
1337
1
CrossFormer实现时序预测
2024-04-27
nhit完整源码+论文学习
2024-04-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人