（10）时间序列预测之TimeXer

原创 已于 2024-12-05 14:07:59 修改
· 1.4k 阅读 · 28 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习

于 2024-11-26 16:59:34 首次发布

文章目录

文章信息

  1. 模型： TimeXer（Time Series Transformer with eXogenous variables）
  2. 关键词：时间序列预测，外部变量(Exogenous Variables)
  3. 作者：Yuxuan Wang ; Haixu Wu（吴海旭） ; Jiaxiang Dong ; Yong Liu ; Yunzhong Qiu ; Haoran Zhang ; Jianmin Wang（王建民） ; Mingsheng Long（龙明盛）
  4. 机构：清华大学
  5. 发表情况：暂无 [arXiv：Submitted on 29 Feb 2024 (v1), last revised 11 Nov 2024 (this version, v4)]
  6. 网址：[2402.19072] TimeXer: Empowering Transformers for Time Series
    Forecasting with Exogenous Variables

前言

1. 序列表示的level

在这里插入图片描述

2. 内生变量与外生变量（Endogenous & Exogenous）

  内生变量：只关注感兴趣的目标
  外生变量：为内生变量提供有价值的外部信息
数据集上举例：
在这里插入图片描述外生变量的作用：
  从时间序列建模的角度来看，外生变量被引入到预测器中是为了提供信息，而不需要预测。
  将外生变量与内生变量等同对待，不仅会造成时间和记忆的极大复杂性，而且还会涉及到内生序列与外部信息之间不必要的相互作用。
  其次，外部因素可能会对内生序列产生因果影响，因此模型需要对不同变量之间的系统时间滞后（systematic time lags）进行推理。
  再者，实际场景中相比于内生变量会出现以下问题：
在这里插入图片描述
  因此如何将外生

最低0.47元/天 解锁文章
TimeXer可支持外生变量的Transformer时序预测模型
qq_50173095的博客
11-04 1915
内生变量嵌入模块：将内生时间序列划分为非重叠时间片段，生成时间片段级别的嵌入。外生变量嵌入模块：将外生变量处理成变量级别的表示，以低计算复杂度方式引入模型。（itransformer的思想）内生自注意力机制：在时间片段上执行自注意力，捕获内生变量的短期时间依赖关系。内生-外生跨注意力机制：将外生变量的信息通过跨注意力机制注入到内生变量的全局表示中。预测输出层：整合最终的内生表示，通过线性映射得到预测结果。
时序必读论文15｜TimeXer：通过外部变量增强Transformer在时间序列预测中的能力
u010681011的专栏
10-01 1931
仅仅关注内生变量，通常不足以保证准确的预测，外部序列可以为内生变量提供有价值的外部信息。先前的多变量或单变量预测方法要么将所有变量平等对待，要么忽视外部信息，本文提出TimeXer框架，利用外部信息来增强内生变量的预测。TimeXer相较于Transformer架构，具备调节内生和外生信息的能力，特别是设计了patch自注意力和variate交叉注意力机制。此外，TimeXer还采用了一个全局内生变量token来将外部序列桥接到内生时间patch中。
时序预测算法TimeXer代码解析
机器学习，深度学习
12-06 959
TimeXer算法框架中包括模块有：Endogenous Embedding，Exogenous Embedding，Endogenous Self-Attention，Exogenous-to-Endogenous Cross-Attention。Endogenous Embedding 通过Patch级表示精细捕捉内生变量时间变化，针对内生、外生变量嵌入粒度不同产生的信息对齐问题，引入可学习的全局令牌促进外生因果信息向内生时间Patch传递，助力预测。在上一篇文章中，我结合论文为大家解读了。
TimeXer: 利用外生变量增强Transformer在时间序列预测中的应用
最新发布
zuiyishihefang的博客
04-23 877
基于注意力机制的工作维度，现有的基于变压器的方法大致可以分为面向块的模型和面向变量的模型。而面向变量的模型，如iTransformer，成功地推理变量之间的关系，通过考虑每个时间序列作为单个时间步长并应用不同的变量令牌来推理这些变量之间的关系。本文包括了九个最先进的深度预测模型，包括基于变压器的模型：iTransforme，PatchTST，Crossformer，Autoformer，基于 CNN 的模型：TimesNet，SCINet，以及线性基础模型：RLinear，DLinear，TiDE。
TimeXer: 赋能Transformer进行包含外部变量的时间序列预测
Together_CZ的博客
12-13 2760
TimeXer: Empowering Transformers for Time Series Forecasting with Exogenous Variables TimeXer: 赋能Transformer进行包含外部变量的时间序列预测
AI论文速读 | TimeXer：让 Transformer能够利用外部变量进行时间序列预测
suzukiwudi的博客
03-05 6415
最近的研究已经展现了时间序列预测显着的性能。然而，由于现实世界应用的部分观察性质，仅仅关注感兴趣的目标，即所谓的内部变量（endogenous variables），通常不足以保证准确的预测。值得注意的是，一个系统通常被记录为多个变量，其中外部序列可以为内部变量提供有价值的外部信息。因此，与之前成熟的多元或单变量预测不同，本文要么平等地对待所有变量，要么忽略外部信息，而本文重点关注一个实际场景，即**外部变量（exogenous variables）**的时间序列预测。
TimeXer：融合外部变量与内部变量，提升时序预测性能
机器学习，深度学习
12-02 460
在时序预测领域，如何有效地利用外部变量（exogenous variables）来提升内部变量（endogenous variables）的预测性能一直是一个挑战。今天，我为大家带来一篇2024年最新基于Transformer架构的创新之作——，这篇论文成功解决了这一问题，并在多个实际应用场景中展示了出色的性能。老样子，我还是按照论文的框架对其进行详细解读。
基于Timenet与Tsmixer的先进多变量时间序列预测模型研究与应用,基于Timenet与Tsmixer的先进多变量时间序列预测模型研究与应用,TimesNet+Tsmixer多变量时间序列预测
02-12
基于Timenet与Tsmixer的先进多变量时间序列预测模型研究与应用,基于Timenet与Tsmixer的先进多变量时间序列预测模型研究与应用,TimesNet+Tsmixer多变量时间序列预测 timesnet tsmixer Timenet是2023年4月发表了一个新...
时间序列预测模型——索引篇
m0_62113015的博客
12-05 1065
的建模策略，既可以先通过下采样分解序列，然后将不同尺度的数据送入相似的多尺度分支，将不同分支的结果混合，如TimeMixer、MICN；模式，计算不同patch_embedding(时间上) 的注意力和不同变量间的注意力，最有名的是Crossformer（出现时间较早），它还是用到分层的encoder-decoder模式，不同层级代表不同的时间尺度。特性也被关注起来，即：时间序列在不同的采样尺度上呈现出不同的时间变化，而在时间细粒度上，细尺度和粗尺度往往反映不同维度的变化趋势（如宏观和微观）。
TimeXer：通过外部变量增强Transformer在时间序列预测中的能力
weixin_64787709的博客
11-08 1551
论文介绍了一种新型框架TimeXer，它利用Transformer结构处理时间序列预测时的外部变量，通过创新的嵌入层和注意力机制提升预测精度。实验证明TimeXer在多项任务中表现出色，特别是在结合内外部信息方面。
TimeXer论文解析
w1191474296的博客
10-08 1355
优点高效利用外生变量：TimeXer通过交叉注意力机制有效地整合了外生变量的信息，使其能够显著提升对内生变量的预测准确性。模型通用性强：该模型可以在不修改Transformer架构的基础上，处理多种复杂的时间序列预测任务，尤其是包含外生变量的场景。鲁棒性：TimeXer在面对低质量的外生数据时，仍能保持较好的预测性能，表现出对数据不完整性的强鲁棒性。缺点复杂度较高：虽然模型能够处理外生变量，但由于其引入了额外的交叉注意力机制和全局变量令牌，使得在大规模数据集上的计算成本较高。依赖外生数据的完整性。
Neurlps2024论文解析|TimeXer Empowering Transformers for Time Series Forecasting with Exogenous Variables
paixiaoxin的博客
02-17 679
本文提出了一种新颖的方法TimeXer，旨在通过引入外生变量来增强内生变量的时间序列预测。传统的时间序列预测方法往往忽视外生变量的影响，而TimeXer通过巧妙设计的嵌入层，结合了内生和外生信息，利用分块自注意力和变体交叉注意力机制，提升了预测的准确性。实验结果表明，TimeXer在十二个真实世界的预测基准上表现出色，展现了显著的通用性和可扩展性。该方法不仅适用于短期预测，还能有效处理多元时间序列预测中的外生变量。
ETSformer: Exponential Smoothing Transformers for Time-series Forecasting
小蚂蚁与大象
11-14 447
通过利用深度架构的高能力和有效的残差学习方案，ETSformer能够提取一系列潜在增长和季节模式，并对其复杂的依赖关系进行建模。受时间序列预测中经典指数平滑方法的启发，提出了新的指数平滑注意力(ESA)和频率注意力(FA)来取代vanilla transformer中的自注意力机制，从而提高了精度和效率。虽然在各种场景中往往显示出有希望的结果，但传统的transformer不是为了充分利用时间序列数据的特征而设计的，因此受到一些基本限制，例如，它们通常缺乏分解能力和可解释性，对于长期预测既无效也低效。
NeurIPS 2024 | 时间序列（Time Series）论文总结
suzukiwudi的博客
10-25 8033
NeurIPS 2024于2024年12月10号-12月15号在加拿大温哥华举行（Vancouver, Canada）,录取率25.8% 本文总结了NeurIPS 2024有关时间序列（time series data）的相关论文，主要包含如有疏漏，欢迎大家补充。** **时间序列Topic**：预测，插补，分类，生成，因果分析，异常检测，LLM以及基础模型等内容。总计60篇，其中正会56篇，D&B Track4篇
TimeSformer代码复现
qq_45913887的博客
05-09 2234
Tiny-Kinetics-400同样包含400个类别，每个类别下仅有两条视频数据，分为train与val，可用于调试一些视频理解模型。（2）UCF101是一个现实动作视频的动作识别数据集，收集自YouTube，提供了来自101个动作类别的13320个视频。TimeSformer-main\timesformer\utils\parser.py line 48 修改路径。整个数据集包含400个类别，全部文件大概需要135G左右的存储空间，下载起来比较困难。.pyth文件下载自。
NeurIPS 2024重磅出炉，时间序列依旧最强王者！附最全NeurIPS 24时序论文总结
m0_73122726的博客
10-31 3060
本文提出了一种新的实例归一化方法——频率自适应归一化（FAN），通过傅里叶变换识别每个输入实例的主要频率成分，并显式建模这些频率成分在输入和输出之间的差异，从而有效处理非平稳时间序列中的动态趋势和季节性模式。FAN方法可以应用于任意预测模型，显著提高了预测性能。本文提出了一种新的模型Attraos，该模型结合了混沌理论，将现实世界的时间序列视为来自未知高维混沌动态系统的观测数据。通过非参数相空间重构嵌入和多尺度动态记忆单元，Attraos能够捕捉历史动态结构，并通过频率增强的局部演化策略进行预测。
谷歌本周发布全新线性时间序列预测模型，再次反超Transformer
AI蜗牛车
04-21 3155
继之前针对Transformer在时间序列预测中真的有效吗、使用MLP打败复杂模型等研究后，谷歌在昨天发表了一篇最新的时间序列预测工作，提出了TiDE模型，整个模型没有任何注意力机制、RNN或CNN，完全由全连接组成。下面为大家介绍这篇工作的主要内容。论文标题：Long-term Forecasting with TiDE: Time-series Dense Encoder下载地址：https:...
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting（2020-12-14）
weixin_49346755的博客
10-10 604
对于长序列时间预测一直是研究的热点，随着预测序列长度增加，预测难度越来越高，LSTF需要模型提高预测能力，本文设计了一个高效的基于 Transformer 的 LSTF 模型，名为 Informer。informer模型成功地提高LSTF问题的预测能力，验证了类Transformer模型的潜在价值；
timexer
03-08
### TimeXer简介 TimeXer是一种基于Transformer架构设计的时间序列预测工具，特别适用于包含外部变量的时间序列预测任务。该模型在保持经典Transformer结构不变的基础上，引入了特定于时间序列的改进措施[^1]。 #### 特征概述 - **双路径嵌入机制**：为了有效区分并处理内部（内生）和外部（外生）因素的影响，TimeXer实现了两种不同类型的嵌入——即`Endogenous Embedding`用于表示内在特征；`Exogenous Embedding`则负责编码外界条件的变化情况。 - **多级注意力网络**：通过集成自注意力层(`Self-Attention`)以及跨模态交互层(`Cross-Attention`)，能够同时捕捉到沿时间轴发展的模式关联性及时变要素间的相互作用规律。 ```python import timexer as txr # 初始化配置参数字典 config = { 'input_size': 784, # 输入向量长度 'output_size': 10, # 输出类别数 'hidden_dim': 512, # 隐藏单元数量 } model = txr.TimeXerModel(config) # 加载预训练权重 (如果有的话) if pretrained_weights_path is not None: model.load_state_dict(torch.load(pretrained_weights_path)) ``` 此段代码展示了如何创建一个简单的TimeXer实例，并加载可能存在的预训练权重文件。需要注意的是，在实际应用中还需要根据具体场景调整输入尺寸和其他超参设置。 ### 使用指南 对于想要利用TimeXer来进行更深入研究或者项目开发的研究人员来说： - 应当熟悉Python编程环境及其常用的数据科学库； - 掌握基本的时间序列理论基础，了解ARIMA等传统方法的工作原理有助于更好地理解新旧技术之间的联系与区别； - 学习掌握PyTorch或其他支持动态计算图构建的深度学习框架将是必不可少的前提之一。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值