【ICML 2022】时序精选论文06｜FEDformer: 基于频域应用注意力机制的长期序列预测模型（长时预测效果超SOTA | 代码解读附源码）

最新推荐文章于 2024-09-19 21:30:04 发布
最新推荐文章于 2024-09-19 21:30:04 发布
阅读量1.5k 收藏
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 时间序列预测项目实战 文章标签： 人工智能 深度学习 机器学习 算法 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ViolenceTemper/article/details/140051896

ICML 时间序列预测

FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting

FEDformer要解决的问题

待预测的序列长度远远大于输入长度，即基于有限的信息预测更长远的未来。上述需求使得此预测问题极具挑战性，对于模型的预测能力及计算效率有着很强的要求。另外，然而在时间序列预测问题中，序列的分布可能随时间轴的推进不断变化，这就需要模型具备更强的外推能力。

FEDformer解决的方式

  1. 通过周期趋势项分解（seasonal-trend decomposition）降低输入输出的分布差异；
  2. 提出了一种在频域应用注意力机制的模型结构，以增加对噪声的鲁棒性。

FEDformer框架图

总体框架图

了解本专栏 订阅专栏 解锁全文 超级会员免费看
零基础完整版入门经典深度学习时间序列预测项目实战+最新前沿时间序列预测模型代码讲解学习整理（附完整可运行代码）
ViolenceTemper的博客
04-27 500
本专栏主要整理了作者在时间序列预测领域内的一些学习思路与代码整理，帮助大家在初进入此领域时，可以快速掌握代码进行实战操作，对代码的操作再结合论文阅读肯定是上升更快嘛，作者也愿意和大家一起讨论进步，下面的内容会逐步更新，作者主页的资源列也会放出一些可下载的资源供大家参考学习噢。
深度学习模型表征提取全解析
最新发布
ZJQ的博客
07-09 57
自然语言表征技术从离散静态向量发展到上下文动态表征，经历了词袋模型、词向量到预训练语言模型的演进。当前主流方法基于Transformer架构，结合知识增强和对比学习，显著提升了语义理解能力。最新研究关注大语言模型的深层表征、可控表征和多语言一致性，并探索模型内部机制的自我纠正能力。这些技术突破为NLP任务提供了更强大的语义理解和上下文适应能力。
【ICML 2022】时间序列预测——FEDformer (Frequency Enhanced Decomposed Transformer)
热门推荐
qq_41977459的博客
09-23 1万+
FEDformer：用于长时序列预测的频率增强分解Transformer
阅读笔记 | FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
一颗蚂蚱
03-27 1269
FEDformer与Autoformer的结构整体上是高度近似的，都采用了Encoder-Decoder结构，并同样对时序数据分解了季节性和趋势两部分并进行建模。此外，原来Autoformer的趋势提取用了固定窗口大小的平均池化，而FEDformer则提出MOEDecomp，用一组不同窗口大小的filters进行池化，再加权对提取的趋势进行混合。在传统的时序预测中，常常需要对输入模型的变量进行自相关和互相关分析，并手工根据分析结果选择变量并一次性地构建输入模型的数据，以抑止多重共线性的负面影响。
论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
qq_40206371的博客
02-26 3382
2022 ICML。
【论文阅读】2022-ICML FEDformer
mataolc的博客
04-09 1187
论文提出了名为FEDformer的时序预测模型，通过在模型中结合季节趋势分解，以及利用傅立叶分析，在频域中使用Transformer，从而使模型更好的捕获时间序列的全局信息，进而取得更好的预测效果。
#今日论文推荐#【ICML2022】FEDformer:用于长期序列预测的频率增强分解Transformer
w1hsxn的博客
05-20 1180
#今日论文推荐#【ICML2022】FEDformer:用于长期序列预测的频率增强分解Transformer 尽管基于Transformer的方法显著改善了长期序列预测的最先进结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如，总体趋势)。为了解决这些问题，我们提出将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局剖面，而Transformer捕获更详细的结构。为了进一步增强Transformer的长期预测性能，我们利用了大多数时间序列倾向于以众所周知的
#今日论文推荐# 阿⾥达摩院最新FEDformer，⻓程时序预测全⾯超越SOTA｜ICML 2022
w1hsxn的博客
06-28 461
时间序列预测在众多领域中（例如电力、能源、天气、交通等）都有广泛的应用。时间序列预测问题极具挑战性，尤其是长程时间序列预测（long-term series forecasting）。
#今日论文推荐# 阿里达摩院最新FEDformer，长程时序预测全面超越SOTA | ICML 2022
w1hsxn的博客
07-13 457
针对长时间序列预测问题，作者提出了基于频域分解的 FEDformer 模型。
FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting
qq_59482564的博客
12-20 4184
虽然基于Transformer的方法已经显著提高了长期序列预测的先进结果，但它们的计算代价是高昂的，更重要的是它们无法捕捉时间序列的全局视图。为了应对这一问题，文章提出将Transformer和季节趋势分解方法相结合，用分解方法捕捉世界序列的全局模式，而用Transformer捕捉更细节的结构。为了更好的提升Transformer在长期预测中的性能，我们利用了这样一个事实，即大多数时间序列倾向于在众所周知的基(如傅立叶变换)中具有稀疏表示，并提出一个增频Transformer。
FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
weixin_45731480的博客
04-16 546
尽管基于变压器的方法显著提高了长期序列预测的最先进结果，但它们不仅计算成本高，而且更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局轮廓，而Transformer捕获更详细的结构。为了进一步提高Transformer的长期预测性能，我们利用大多数时间序列倾向于在傅里叶变换等已知基中具有稀疏表示的事实，并开发了频率增强Transformer。
FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）
小蚂蚁与大象
07-07 3052
尽管基于transformer的方法显著改善了长期序列预测的最新结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局剖面，而Transformer则捕获更详细的结构。为了进一步增强Transformer在长期预测中的性能，我们利用了大多数时间序列往往在众所周知的基(如傅里叶变换)中具有稀疏表示的事实，并开发了一种频率增强Transformer。该方法被称为频率增强分解变压
Timestamp Encoding FEDformer_ Frequency Enhanced Decomposed Transformer for Long-term Series Forecas
ResumeProject的博客
06-04 1845
Transformer-based methods unable to capture the global view of time series (e.g. overall trend). 为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局轮廓，而Transformers捕获更详细的结构。 为了进一步提高变压器的长期预测性能，我们利用了大多数时间序列在众所周知的基上（如傅立叶变换基）往往具有稀疏表示的事实，并开发
Fedformer:Frequency Enhanced DecomposedTransformer for long-term series forecasting[还在学习中···]
To be a better man
06-09 1543
​ Reference fedformer (Frequency Enhanced DecomposedTransformer )时间序列预测 - 知乎 #今日论文推荐#【ICML2022】FEDformer:用于长期序列预测的频率增强分解Transformer_wwwsxn的博客-优快云博客 ​
时序必读论文12｜ICML22 FEDformer基于周期分解的长时序预测transformer架构
u010681011的专栏
09-19 971
FEDformer这篇文章发表于2022年的ICML。其实如果只比较性能的话，到如今其实早已被各类新模型超越。但是考虑到FEDformer一直是时序预测的一个重要baseline。此外，论文采用的周期趋势项分解策略，通过多次分解降低了输入输出的波动这种策略在后续很多论文被反复使用，使得Transformer能够更好地学习长时序中的依赖关系，提升了预测精度。因此，尽管论文发表时间较早，我还是将其列入到了时序必读论文。
论文笔记-时序预测-FEDformer
weixin_44611266的博客
12-10 1868
论文笔记-时序预测-FEDformer
FEDformer 代码分析（1）
weixin_45193103的博客
11-21 4158
也就是说加上23维度的才是这个维度的，也就是本来的x是（1,96,7）的维度的，前面拼接上front，后面拼接上end后，变成了（1,119,7）这个维度的了。这个series_decomp_multi的里面有两个可学习的东西，一个是一个pooling，是kernel_size是24的大小的，另一个是一个linear，是一个1in，1out的。假设一个tensor的维度是（1,2,3），第二个维度是（1,2,3）（1,2,3），在dim=1上求平均，得出来的结果是1,2,3。
【亲测免费】 探索未来之钥：FEDformer - 长期时间序列预测的新里程碑
gitblog_00085的博客
06-02 1906
探索未来之钥：FEDformer - 长期时间序列预测的新里程碑 在数据驱动的时代，时间序列预测一直是工业界与学术界的焦点。长序列的准确预测对于能源管理、金融交易、供应链优化等领域至关重要。今天，我们特别向您推荐一项前沿技术——FEDformer，这是由天 Zhou 和其团队在 ICML 2022 上发表的研究成果，它为时间序列预测领域带来了革新性的突破。 项目介绍 FEDformer（Frequ...
FEDformer:一种用于长期时间序列预测的频率增强分解Transformer
zuiyishihefang的博客
06-04 1258
1 文章信息文章题目为“FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting”，该文于2022年发表于ICML会议。文章提出了一种用于长期时间序列预测的频率增强分解Transforme2 摘要模虽然基于Transformer的方法显著提升了长时间序列预测的最新成果，但它们不仅计算开...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值