【ICLR 2023】时序精选论文02|PatchTST: 片段输入与独立变量思想(代码解读附源码)

本文解析了PatchTST的工作原理,该模型通过将时间序列数据切分为片段并采用独立变量处理,提高了长期预测的准确性。文章介绍了模型的创新点,包括数据的片段化处理、独立变量的注意力计算,并提供了源码分析,重点关注了注意力机制的改进和自监督学习的应用。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

PatchTST是patch time series transformer的缩写,它是由Nie, Nguyen等人在2023年3月的论文中首次提出:A Time Series is Worth 64 Words: Long-Term Forecasting with Transformers,论文链接:链接

本文主要结合PatchTST的源码对内部工作原理进行学习解析

文章提出的主要几个创新点:

1、主要是对于输入数据的改变,将已经切分好的样本(数据预处理阶段构建的训练集)再输入时切分为小片段(这个操作在后面的Crossformer中的输入也出现了,或许此类操作是着实有效的);

2、独立的变量处理,主要意思是在变量的维度上进行单独的计算,不同于一般性的Transformer的编码计算(这一点的代码逻辑与Crossformer中也很类似,可以参考文章链接,那篇文章的创新点在于加强了多变量间的关系,从两个维度进行了单独的注意力考虑)

3、最后有一点是对Patch进行了自监督机制(这一点我还在未在代码中阅读,后续更新)

原文图示:

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值