时序论文27|Fredformer:频域去偏差的时序预测Transformer模型

图片

论文标题:Fredformer: Frequency Debiased Transformer for Time Series Forecasting

论文链接:https://arxiv.org/abs/2406.09009

代码链接:https://github.com/chenzRG/Fredformer

前言

这篇文章发表于KDD2024,作者的出发点以及写作思路特别好,属于先通过定量分析发现时序预测任务中,频域信息利用不合理的问题,然后有针对性的设计了Fredformer模型,最后进行实验评估。所以论文读下来很顺畅,模型设计也让你感觉有据可循。

图片

所以理解这篇文章,首先要跟着作者的思路。来看上面这张图,作者挑选了三个模型,分别是FEDformer、Patch TST和本文模型。其中绿线是真实数据,红线是模型预测的曲线,很明显FEDformer和Patch TST的预测,对数据大幅变化的情况预测的比较准,然而小幅波动却几乎不敏感。其实如果从频域的角度看,就是经过傅立叶变换后,已有的模型对低频特征敏感,

Transformer时序预测中有一些特点和挑战。时间序列具有自相关性或周期性,而且预测任务可能涉及到周期非常长的序列。这些特点给Transformer时序预测中的应用带来了新的挑战。为了解决这些问题,研究者们提出了一些改进的Transformer模型。 一种改进的方法是将Transformer和seasonal-trend decomposition相结合。传统的Transformer预测每个时间点时是独立的利用attention进行预测,可能会忽略时间序列整体的属性。为了解决这个问题,一种方法是在基础的Transformer中引入seasonal-trend decomposition。另一种方法是引入傅里叶变换,在频域使用Transformer,帮助Transformer更好地学习全局信息。这些方法可以提高Transformer时序预测中的性能和准确性。\[2\] 此外,还有一篇综述类文章Transformers in Time Series: A Survey》介绍了Transformer时间序列中的应用。这篇文章发表于2022年,比较新,可以给大家提供更全面的了解和参考。\[3\] #### 引用[.reference_title] - *1* *2* *3* [如何搭建适合时间序列预测Transformer模型?](https://blog.youkuaiyun.com/qq_33431368/article/details/124811340)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值