超级会员免费看
本文解析了PatchTST的工作原理，该模型通过将时间序列数据切分为片段并采用独立变量处理，提高了长期预测的准确性。文章介绍了模型的创新点，包括数据的片段化处理、独立变量的注意力计算，并提供了源码分析，重点关注了注意力机制的改进和自监督学习的应用。
PatchTST是patch time series transformer的缩写，它是由Nie, Nguyen等人在2023年3月的论文中首次提出：A Time Series is Worth 64 Words: Long-Term Forecasting with Transformers，论文链接：链接
本文主要结合PatchTST的源码对内部工作原理进行学习解析
文章提出的主要几个创新点：
1、主要是对于输入数据的改变，将已经切分好的样本（数据预处理阶段构建的训练集）再输入时切分为小片段（这个操作在后面的Crossformer中的输入也出现了，或许此类操作是着实有效的）；
2、独立的变量处理，主要意思是在变量的维度上进行单独的计算，不同于一般性的Transformer的编码计算（这一点的代码逻辑与Crossformer中也很类似，可以参考文章链接，那篇文章的创新点在于加强了多变量间的关系，从两个维度进行了单独的注意力考虑）
3、最后有一点是对Patch进行了自监督机制（这一点我还在未在代码中阅读，后续更新）
原文图示：
订阅专栏 解锁全文
扫一扫
1824
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
