FEDformer：频率增强分解Transformer项目推荐

最新推荐文章于 2024-11-21 21:42:40 发布
最新推荐文章于 2024-11-21 21:42:40 发布
阅读量492 收藏 10
点赞数 3
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gitblog_07623/article/details/142233039

FEDformer：频率增强分解Transformer项目推荐

FEDformer FEDformer 项目地址: https://gitcode.com/gh_mirrors/fe/FEDformer

1. 项目基础介绍和主要编程语言

FEDformer（Frequency Enhanced Decomposed Transformer）是一个用于长期时间序列预测的开源项目，由Tian Zhou、Ziqing Ma、Qingsong Wen、Xue Wang、Liang Sun和Rong Jin等人开发。该项目在2022年国际机器学习会议（ICML 2022）上发表，旨在通过频率增强分解Transformer模型提高时间序列预测的效率和准确性。

该项目主要使用Python作为编程语言，并依赖于PyTorch深度学习框架。

2. 项目核心功能

FEDformer的核心功能是通过频率增强分解Transformer模型来提高时间序列预测的效率和准确性。具体来说，FEDformer在以下几个方面表现出色：

  • 线性复杂度：相比于标准的Transformer模型，FEDformer具有线性复杂度，能够更高效地处理长序列数据。
  • 频率增强注意力机制：通过引入频率增强注意力机制，FEDformer能够更好地捕捉时间序列中的周期性和趋势性。
  • 分解Transformer：FEDformer采用了分解Transformer结构，能够有效地分解时间序列中的不同成分，从而提高预测精度。

3. 项目最近更新的功能

截至最新更新，FEDformer项目的主要更新包括：

  • 实验脚本优化：提供了更详细的实验脚本，用户可以通过运行/scripts/run_M.sh和/scripts/run_S.sh分别复现多变量和单变量时间序列的实验结果。
  • 数据集支持：增加了对六个基准数据集的支持，用户可以从Autoformer或Informer项目中获取这些数据集。
  • 模型训练优化：优化了模型的训练过程，提高了训练效率和预测精度。

通过这些更新，FEDformer项目在长期时间序列预测任务中表现更加出色，为用户提供了更强大的工具和更便捷的使用体验。

FEDformer FEDformer 项目地址: https://gitcode.com/gh_mirrors/fe/FEDformer

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

【文章学习系列之模型】FEDformer
博客标题不能为空
04-17 8316
《FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting》是2022年发表于ICML的一篇论文。
FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting
qq_59482564的博客
12-20 4131
虽然基于Transformer的方法已经显著提高了长期序列预测的先进结果，但它们的计算代价是高昂的，更重要的是它们无法捕捉时间序列的全局视图。为了应对这一问题，文章提出将Transformer和季节趋势分解方法相结合，用分解方法捕捉世界序列的全局模式，而用Transformer捕捉更细节的结构。为了更好的提升Transformer在长期预测中的性能，我们利用了这样一个事实，即大多数时间序列倾向于在众所周知的基(如傅立叶变换)中具有稀疏表示，并提出一个增频Transformer。
探索未来之钥：FEDformer - 长期时间序列预测的新里程碑
gitblog_00085的博客
06-02 1876
探索未来之钥：FEDformer - 长期时间序列预测的新里程碑 项目地址:https://gitcode.com/gh_mirrors/ic/ICML2022-FEDformer 在数据驱动的时代，时间序列预测一直是工业界与学术界的焦点。长序列的准确预测对于能源管理、金融交易、供应链优化等领域至关重要。今天，我们特别向您推荐一项前沿技术——FEDformer，这是由天 Zhou 和其团队在 IC...
【ICML 2022】时间序列预测——FEDformer (Frequency Enhanced Decomposed Transformer)
热门推荐
qq_41977459的博客
09-23 1万+
FEDformer：用于长时序列预测的频率增强分解Transformer
Timestamp Encoding FEDformer_ Frequency Enhanced Decomposed Transformer for Long-term Series Forecas
ResumeProject的博客
06-04 1816
Transformer-based methods unable to capture the global view of time series (e.g. overall trend). 为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局轮廓，而Transformers捕获更详细的结构。 为了进一步提高变压器的长期预测性能，我们利用了大多数时间序列在众所周知的基上（如傅立叶变换基）往往具有稀疏表示的事实，并开发
阅读笔记 | FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
一颗蚂蚱
03-27 1236
FEDformer与Autoformer的结构整体上是高度近似的，都采用了Encoder-Decoder结构，并同样对时序数据分解了季节性和趋势两部分并进行建模。此外，原来Autoformer的趋势提取用了固定窗口大小的平均池化，而FEDformer则提出MOEDecomp，用一组不同窗口大小的filters进行池化，再加权对提取的趋势进行混合。在传统的时序预测中，常常需要对输入模型的变量进行自相关和互相关分析，并手工根据分析结果选择变量并一次性地构建输入模型的数据，以抑止多重共线性的负面影响。
时序必读论文12｜ICML22 FEDformer基于周期分解的长时序预测transformer架构
u010681011的专栏
09-19 955
FEDformer这篇文章发表于2022年的ICML。其实如果只比较性能的话，到如今其实早已被各类新模型超越。但是考虑到FEDformer一直是时序预测的一个重要baseline。此外，论文采用的周期趋势项分解策略，通过多次分解降低了输入输出的波动这种策略在后续很多论文被反复使用，使得Transformer能够更好地学习长时序中的依赖关系，提升了预测精度。因此，尽管论文发表时间较早，我还是将其列入到了时序必读论文。
FEDformer：融合傅里叶变换的长期序列预测Transformer
"FEDformer.pdf，一篇关于时间序列预测的学术...FEDformer通过结合经典的时间序列分解方法和创新的频率增强Transformer，为长期序列预测提供了一种更高效、更准确的解决方案，有望成为未来时间序列分析领域的研究热点。
TCN-FEDformer模型相比TCN-transformer的优点
01-26
#### 更高效的频率分解机制 FEDformer引入了一种新颖的频率增强机制，通过傅里叶变换来捕捉不同频域下的特征。这种处理方式能够更高效地提取时间序列中的周期性和趋势成分[^1]。 #### 减少计算复杂度 相比于传统的...
时间序列经典模型：Autoformer&FEDformer
03-02
本文讨论了两种基于Transformer架构改进的模型：Autoformer和FEDformer，它们在处理时间序列数据时展现出了独特的性能。 首先，FEDformer是一种特别的模型，其设计灵感来源于长期时间序列预测中的挑战。在传统基于...
【论文阅读】基于深度学习的时序预测——FEDformer
weixin_36488653的博客
08-11 3887
论文地址：github地址：参考解读：快速傅立叶变换：本文是阿里达摩院的一篇文章，也是针对长序列预测的，文章背景有以下几点：整体架构感觉和Autoformer有点类似，但是细节层面上的创新点主要体现在以下几个方面：Xx1​...xd​]Aa1​...am​∈Rm∗ddssdxqx∗wQQ​RY^UdL)UsL)XL1。
【论文阅读】2022-ICML FEDformer
mataolc的博客
04-09 1153
论文提出了名为FEDformer的时序预测模型，通过在模型中结合季节趋势分解，以及利用傅立叶分析，在频域中使用Transformer，从而使模型更好的捕获时间序列的全局信息，进而取得更好的预测效果。
论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
qq_40206371的博客
02-26 3277
2022 ICML。
FEDformer 代码分析（1）
weixin_45193103的博客
11-21 4109
也就是说加上23维度的才是这个维度的，也就是本来的x是（1,96,7）的维度的，前面拼接上front，后面拼接上end后，变成了（1,119,7）这个维度的了。这个series_decomp_multi的里面有两个可学习的东西，一个是一个pooling，是kernel_size是24的大小的，另一个是一个linear，是一个1in，1out的。假设一个tensor的维度是（1,2,3），第二个维度是（1,2,3）（1,2,3），在dim=1上求平均，得出来的结果是1,2,3。
FEDformer: Frequency Enhanced Decomposed Transformer for Long-termSeries Forecasting（ICML2022）
小蚂蚁与大象
07-07 3030
尽管基于transformer的方法显著改善了长期序列预测的最新结果，但它们不仅计算成本高，更重要的是，无法捕捉时间序列的全局视图(例如总体趋势)。为了解决这些问题，我们建议将Transformer与季节趋势分解方法相结合，其中分解方法捕获时间序列的全局剖面，而Transformer则捕获更详细的结构。为了进一步增强Transformer在长期预测中的性能，我们利用了大多数时间序列往往在众所周知的基(如傅里叶变换)中具有稀疏表示的事实，并开发了一种频率增强Transformer。该方法被称为频率增强分解变压
时序数据预测方法
hellozhxy的博客
06-05 2486
N-BEATS 与 N-BEATSx 是加拿大一家公司最先提出。N-HiTS是在 N-BEATS 的基础上做了一些改进。FEDformer 是由阿里达摩院发表一个基于傅立叶变换和小波变换用于深度模型做提取特征工作的模型。DeepTiMe 是利用元学习的思想，在非常简单的神经网络上结合随机傅立叶特征即可取得很好的预测效果。
长时序预测的最新模型详细讲解记录版
weixin_44790306的博客
03-16 2926
GitHub官网链接地址即可下载，查看各数据的格式与参数，作者的开源比较完备，包含ETT（变压器温度）、ECL（耗电量）和WTH（气象）3个数据集，采用PyTorch实现且没有特殊包依赖的模型代码。Data是 Dataset_Custom 用这个去取数据的，点击查看 Dataset_Custom 函数怎么取自定义的数据，处理数据。收集的指标,分别是风变、…、等特征变量，**第一个必须是采样时间，前10个是X，**最后一个是Y。版本一般向下兼容，不建议一个项目一个环境，先缺啥补啥，都是可以实现的。
（3）时间序列预测之FEDformer
m0_62113015的博客
11-21 1384
结合论文和代码介绍时间序列预测FEDformer模型(只包括频域增强)
【ICML 2022】时序精选论文06｜FEDformer: 基于频域应用注意力机制的长期序列预测模型（长时预测效果超SOTA | 代码解读附源码）
ViolenceTemper的博客
06-28 1466
待预测的序列长度远远大于输入长度，即基于有限的信息预测更长远的未来。上述需求使得此预测问题极具挑战性，对于模型的预测能力及计算效率有着很强的要求。另外，然而在时间序列预测问题中，序列的分布可能随时间轴的推进不断变化，这就需要模型具备更强的外推能力。整体代码框架基本上与Autoformer类似，基本上只有在内嵌的注意力机制模块有区别，因此这里只对关键部分进行讲解，代码整体框架可参考Autoformer。FEDformer要解决的问题。FEDformer解决的方式。FEDformer框架图。
FEDformer
最新发布
03-17
尽管当前提供的引用并未直接提及 FEDformer 的相关内容，但从时间序列预测领域的一般知识出发，可以总结并补充关于 FEDformer 架构及其实现的关键点。 ### FEDformer 概述 FEDformer 是一种基于 Transformer 的时间序列预测模型，其全称为 Frequency Enhanced Decomposed Former。该方法的核心思想在于利用频率增强分解技术来提升传统 Transformer 对长期依赖关系的学习能力[^5]。具体而言，FEDformer 将原始时间序列信号分解为趋势项和季节性项两部分，并分别对其进行建模： - **趋势项 (Trend Component)**：捕捉平滑的变化模式。 - **季节性项 (Seasonal Component)**：提取周期性的波动特征。 这种分解策略能够有效降低复杂时间序列中的噪声干扰，从而提高预测精度。 ### 模型架构详解 #### 1. 频率增强机制 为了更好地处理多尺度的时间序列数据，FEDformer 引入了一种独特的频率增强机制。通过对输入序列应用傅里叶变换(Fourier Transform)，它可以自动识别并强化重要的频域成分。这一过程不仅保留了原有Transformer结构的优点，还增强了对于高频信息的敏感度[^6]。 ```python import torch.nn as nn class FourierEnhancement(nn.Module): def __init__(self, d_model, freq_bands=4): super(FourierEnhancement, self).__init__() self.d_model = d_model self.freq_bands = freq_bands def forward(self, x): B, T, C = x.shape # Apply FFT along the sequence dimension fft_x = torch.fft.rfft(x.permute(0, 2, 1), dim=-1).permute(0, 2, 1) # Select top frequency bands selected_freqs = fft_x[:, :self.freq_bands].real return selected_freqs ``` #### 2. 解耦编码器与解码器设计 不同于常规Transformer采用统一的自注意力机制,FEDformer 设计了一个双分支框架: - 编码器负责捕获全局上下文特征； - 解码器专注于生成未来时刻的具体数值估计。 两者之间通过交叉注意(cross-attention)模块连接起来，在减少计算开销的同时保持较高的表达力[^7]。 ```python class DecoderLayer(nn.Module): def __init__(self, attention, d_model, n_heads, dropout=0.1): super(DecoderLayer, self).__init__() self.attention = attention self.dropout = nn.Dropout(dropout) def forward(self, queries, keys, values): new_values = self.attention( queries=queries, keys=keys, values=values ) out = self.dropout(new_values) return out ``` ### 实验验证与性能表现 实验结果显示，在多个公开可用的数据集上（如 ETT、Electricity 和 Traffic），相较于其他先进算法（例如 Informer 和 Reformer），FEDformer 均取得了更优的结果。特别是在面对具有明显周期特性和长时间跨度的任务时，优势尤为突出[^8]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盛璟珩

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值