Multi-Horizon Time Series Forecasting with Temporal Attention Learning

最新推荐文章于 2024-05-18 12:43:38 发布
原创 最新推荐文章于 2024-05-18 12:43:38 发布 · 3.5k 阅读 · 11 ·
CC 4.0 BY-SA版权
我们不生产知识，我们只是互联网的搬运工

文章目录

论文地址

https://dl.acm.org/doi/10.1145/3292500.3330662

模型结构图

在这里插入图片描述

使用注意力机制的时间序列多步预测模型：

  • 对离散输入做 Embeding
  • 对历史数据用单向 LSTM 提取特征，每一个历史时刻对应一个隐状态，图中的下面部分
  • 对未来的输入用双向的 Bi-LSTM 提取特征，图中的上面部分
  • 用注意力机制建立未来时刻特征和历史时刻特征的联系，图中的中间部分

注意力机制

从图中可以看出，注意力机制分了两层：

  1. 季节内的注意力；
  2. 季节间的注意力。

季节内的注意力

图上中间部分的两种颜色分别对应了两个季节（season），下面公式中： s t s_t st​ 表示未来时刻 t t t 时的 Bi-LSTM 的到的特征， h h h 表示历史某个季节内由 LSTM 得到的特征。
在这里插入图片描述

季节间的注意力

或者理解为季节间特征的融合
在这里插入图片描述

分位点回归

模型的损失函数为分位数损失（quantile loss）

在这里插入图片描述
而且不同的分位点是同时得到的：
在这里插入图片描述
分位数的预测：
在这里插入图片描述

论文阅读-Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
poppy
01-13 2973
可解释多水平时间序列预测的时间融合Transformer Temporal Fusion Transformers 时间融合Transformers（TFT），一种基于注意力机制的架构。它将高性能多水平预测（多层面预测）与对时间动态的可解释见解相结合。 多水平预测：在多个未来时间步长预测感兴趣的变量。 与提前一步预测相比，多水平预测能在未来多个步骤中优化其行动。（零售商优化整个即将到来的季节的库存，临床医生为患者优化治疗计划等）。 模型需要的数据包括关于未来的已知信息（如日期）、其他外生时间序列（如历史流
论文总结：Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
qq_43527718的博客
03-16 6080
1. 处理问题： 多元预测通常带有复杂的输入（包括静态协变量、已知的未来输入、其他在过去观测到的外部时间序列等），而我们却不知它们具体是如何相互交互以及作用于目标的（即各参数通过复杂的非线性交互后才会输出结果，因此很难相信一个模型的输出和对其进行debug）。然而常用的可解释DNN模型对时间序列是不太适合的。 2. 相关工作： 1）用于多元预测的DNN： 可分为两类：可迭代的自回归模型、直接的sequence-to-sequence模型 a. 可迭代方法： 使用one-step-ahead预测模型并不停地将
Temporal Fusion Transformersfor Interpretable Multi-horizon Time Series Forecasting
小蚂蚁与大象
06-05 1039
Temporal Fusion Transformersfor Interpretable Multi-horizon Time Series ForecastingMulti-horizon forecasting通常包含一种复杂的混合输入包括静态(即时不变)协变量、已知的未来输入和其他只在过去观察到的外生时间序列,没有任何关于它们如何与目标相互作用的事先信息。已经提出了几种深度学习方法，但它们通常是黑箱模型，不能说明它们如何在实际场景中使用全部输入。在本文中，我们介绍了时间融合变压器(TFT){这是一种
深度学习多水平时间序列预测：TFT（Temporal Fusion Transformers）
Liuxu 的博客
04-16 6302
二、模型架构一、引出TFT模型（一）最近的多水平预测深度学习方法除了要预测的变量。（1）静态协变量（不随时间变化）（2）时变变量（随时间变化）：1）过去观察到的 （如预测温度时，湿度，气压，风速等变量）2）未来已知的（如，月份，星期，天，小时等）。可以有关时间动态的，并同时在各种数据集上保持最先进的性能。（二）基于注意力的时间序列可解释模型没有考虑静态协变量的重要性，每个。
阅读笔记 | Temporal fusion transformers for interpretable multi-horizon time series forecasting
一颗蚂蚱
03-04 1731
在论文1中，时序预测被限定在了multi-horizon forecasting的背景下，通过Fig. 1可以很好理解这点，我认为通俗来说所谓multi-horizon，主要是指模型看到的输入数据的种类和范围扩展了，并且支持动态步数的多步预测。变量的两方面扩展带并不会直接带来模型精度提升，不当地处理甚至可能导致模型训练推理速度和精度的下降。传统多变量预测中常常需要实施特征工程，对变量进行自动或手工的选择和处理，但都没有认真思考如何充分利用各种异质输入数据。因此这篇文章的主要问题就是如何可解释地高效利用这些异
TFT：Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
weixin_38502514的博客
12-17 5511
tft1 模型简述1.1 输入1.2 输出2 损失函数3 模型结构3.1 基本结构3.2 整体结构4 模型参数说明4.1 所有参数4.2 列定义参数4.3 处理后输入5 TFT贡献6 其他总结参考资料 1 模型简述 tft模型具有下面特征： 支持多个时间序列 基于注意力的模型结构 具有可解释性 特征选择，并使用门控进行特征压缩，速度快 1.1 输入 输入数据为df格式，列可分为下面六类 target：预测目标值 observed inputs：观测输入，比如上一时刻的值等，无法提前知道的 known
【pytorch】时间序列预测 —— 同时预测多个分位点
颹蕭蕭
06-01 5975
单变量的分位点损失 多变量的分位点损失 结果可视化 模型 import torch import torch.nn as nn import torch.nn.functional as F class Model(nn.Module): def __init__(self, n_val, window, hidRNN, quantiles = [0.5]): super(Model, self).__init__() self.use_cuda = True
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 5018
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
愉快的学习就从翻译开始吧_Multi-step Time Series Forecasting_12_Multi-Step LSTM Network_Complete Example
dreamscape9999的博客
06-19 850
Complete Example/完整的例子We can tie all of these pieces together and fit an LSTM network to the multi-step time series forecasting problem.我们可以将所有这些部分组合在一起，并将LSTM网络应用于多步时间序列预测问题。The complete code listing...
愉快的学习就从翻译开始吧_Multi-step Time Series Forecasting_13_Multi-Step LSTM Network_Extensions&Summary
dreamscape9999的博客
06-19 459
Extensions/扩展There are some extensions you may consider if you are looking to push beyond this tutorial.如果您希望超越本教程，可以考虑一些扩展。Update LSTM. Change the example to refit or update the LSTM as new data is m...
Multi-Channel Attention Se-GAN with Cascaded Semantic Guidance for Cross-View Image Translation
外婆家的大灰狼
08-22 1851
Paper Reading Note URL: https://arxiv.org/pdf/1904.06807.pdf TL;DR 本文是cvpr2019的一篇关于跨视角图像翻译的一篇文章。作者提出了一种利用多通道attention模型及语义辅助GAN生成同一个场景在不同视角下的图像，效果超过了大部分SOTA模型。 可以看到Ground Truth和SelectionGAN差别非常小。 Alg...
SMA TE: Semi-Supervised Spatio-Temporal RepresentationLearning on Multivariate Time Series
qq_34845880的博客
10-05 350
这是一篇基于Tapnet修改的文章。 创新点： 1、加入了时间序列的空间信息（也就是variable 轴） 2、是用半监督学习 3、对embedding learning可视化 4、与13个监督学习和4个半监督学习作为baseline （个人觉得，相较于Tapnet，不同的地方主要在于加入了空间信息，和用的是AE框架） A:MTS需要考虑2个部分，一部分是时间依赖性和空间相关性。 先前的论文都是只有考虑2个variable之间对应点的相关性。但这篇论文觉得，应该考虑2个variable .
【论文精读】一石二鸟：Series Saliency for Accurate and Interpretable Multivariate Time Series Forecasting
小哨的博客
02-08 1125
时间序列可解释性论文精读 Two Birds with One Stone: Series Saliency for Accurate and Interpretable Multivariate Time Series Forecasting
（十七）Temporal Pattern Attention for Multivariate Time Series Forecasting
WangZixuan1111的博客
06-05 4905
相关PPT已经上传，可以在我上传的资源里看到，可免费下载 本篇论文是在上一篇的文章的基础上进行的，我们发现，作者使用的数据集相同，并且评估指标基本一样，对比实验也是如此，创新点在于提出的一种新的注意力机制 论文信息 2019 AAAI 多变量时间序列预测 论文链接：Temporal Pattern Attention for Multivariate Time Series Forecasting 代码链接：https://github.com/gantheory/TPA-LSTM 论文解析参考： 参考
时间序列预测-深度学习方法 TFT
志言志语
05-19 2731
文章目录前沿TFT关键点三类输入可解释的Multi-head Attention实验结果相关论文《DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks》《From Known to Unknown: Knowledge-guided Transformer for Time-Series Sales Forecasting in Alibaba》参考文献 前沿 深度学习方法用于时间序列预测，如销量预测等，在某些情况
Attention （学习笔记）
TH_NUM的博客
05-11 1306
Seq-Seq 模型的困难： p(y1,...yT)∣x1,...xT=∏t=1T′p(yt∣c,y1,...,yt−1)=∏t=1T′g(c,st−2,yt−1)p(y_1,...y_T)|x_1,...x_T=\prod _{t=1}^{T^{'}}p(y_t|c,y_1,...,y_{t-1})=\prod _{t=1}^{T^{'}}g(c, s_{t-2}, y_{t-1})p(y1​,...yT​)∣x1​,...xT​=∏t=1T′​p(yt​∣c,y1​,...,yt−1​)=∏t=1T′.
论文阅读：Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting
myblog
02-02 8449
arxiv上的一篇文章，标题为Temporal Fusion Transformers for Interpretable Multi-horizon Time Series Forecasting 用于可解释多元时间序列预测的时间融合变换器 摘要 多元预测通常包含复杂的输入组合，包括静态协变量（即时不变）、已知的未来输入和其他仅在过去观察到的外源时间序列，而没有任何关于它们如何与目标相互作用的先验信息。在本文中，我们介绍了时态融合变换器（TFT）——一种新的基于注意的体系结构，它将高性能的多元预测与时态动
Learning Time Series with R
岁月催猪老
03-11 1358
by Joseph Rickert 原文地址 Late last Saturday afternoon I was reading in my usual spot at the Dana Street Coffee House in Mt. View. A stranger walking by my table noticed my copy of Madsen’s Time Seri
你知道N-HITS（Neural Hierarchical Interpolation for Time Series Forecasting）这个模型吗
最新发布
03-30
<think>嗯，用户问的是N-HITS模型，我需要先回忆一下这个模型的相关知识。N-HITS全称是Neural Hierarchical Interpolation for Time Series Forecasting，应该是一个时间序列预测的神经网络模型。首先，我需要确定它的基本架构和核心思想。 记得N-HITS是由Element AI团队提出的，可能和之前的模型比如DeepAR、N-BEATS有关系。特别是N-BEATS，它使用了堆叠的块结构，每个块有前向和后向的残差连接。而N-HITS可能在N-BEATS的基础上进行了改进，引入了分层插值的机制。需要确认这一点。 分层插值（Hierarchical Interpolation）应该是指在不同时间尺度上进行插值处理，这样模型可以捕捉到多尺度的特征。比如，处理长期趋势和短期波动。这可能涉及到多分辨率的分析，比如小波变换或者多层次的分解结构。然后，每个层次处理不同频率的信息，再通过插值方法将这些信息融合起来。 另外，N-HITS可能使用了可解释的组件，比如N-BEATS中的趋势和季节性分解。不过N-HITS的分层结构可能更注重于不同时间粒度的特征提取。需要解释它的块结构，每个块内部的操作，比如MLP层，以及如何通过插值进行上采样或下采样。 模型的主要优势可能包括高效性、可解释性，以及处理长周期时间序列的能力。比如，参数效率高，计算速度更快，适合需要快速预测的场景。另外，可能通过分层结构减少误差累积，特别是在多步预测中表现更好。 需要提到它的损失函数，可能使用多尺度的损失，每个层次的输出都有对应的损失项，这样模型可以同时优化不同时间尺度的预测。另外，插值方法的选择，比如线性插值或者更复杂的样条插值，可能也是模型的一个特点。 可能的应用场景包括电商需求预测、能源消耗预测、金融时间序列分析等。需要举例说明，比如在电力负荷预测中，N-HITS可以同时考虑小时级别和天级别的变化，提高预测准确率。 同时，对比其他模型，比如N-BEATS，N-HITS可能在处理更长序列时更高效，或者参数更少，训练更快。需要确认这一点是否有论文支持，或者是否有实验数据支撑。 另外，要确保提到模型的输入输出结构，比如输入是历史时间序列窗口，输出是多步预测结果。以及如何通过分层结构逐步细化预测结果。 可能还需要提到模型的局限性，比如对突然变化的适应性，或者对极高频率数据的处理能力。不过这部分如果记得不太清楚，可以稍微带过，或者建议用户参考具体论文。 最后，确保整个解释结构清晰，分点说明核心思想、结构、优势、应用场景和对比其他模型。使用中文，避免术语混淆，适当举例帮助用户理解。</think>N-HITS（Neural Hierarchical Interpolation for Time Series Forecasting）是一种基于深度学习的时间序列预测模型，由Element AI团队提出。它在经典模型（如N-BEATS）的基础上，通过分层插值机制和多分辨率分析，显著提升了长周期预测的效率和精度。以下是其核心特点及原理的分步解析： --- ### **1. 核心思想** N-HITS的核心是通过**分层分解**和**插值机制**，在不同时间尺度上提取特征，逐步生成预测结果。主要思想包括： - **多分辨率分析**：将时间序列分解为不同频率的分量（如长期趋势、季节项、短期波动），分别建模。 - **参数共享与插值**：通过插值操作（如上采样/下采样）在层级间传递信息，减少参数量并增强泛化性。 - **可解释性**：类似N-BEATS，模型通过显式分解趋势、季节项等成分，提供直观的预测解释。 --- ### **2. 模型架构** N-HITS由多个堆叠的“块”（Block）构成，每个块包含以下关键组件： 1. **编码器（Encoder）**：用多层感知机（MLP）提取输入序列的局部特征。 2. **分层插值（Hierarchical Interpolation）**： - 对特征进行**下采样**（提取低频分量）和**上采样**（恢复高频细节），例如使用线性插值或最大池化。 - 通过插值操作融合不同时间尺度的信息。 3. **预测生成器（Forecast Generator）**：将插值后的特征映射为未来时间步的预测值。 4. **残差连接**：将当前块的输入与输出残差传递到下一块，逐步优化预测。 $$ \text{Block输出} = \text{预测分量} + \text{残差分量} $$ --- ### **3. 关键优势** - **高效性**：通过插值减少参数，训练速度比N-BEATS更快。 - **长周期预测能力**：分层机制有效捕捉长期依赖，减少误差累积。 - **灵活性**：支持多步预测（Multi-horizon）和多变量输入。 --- ### **4. 与N-BEATS的对比** | 特性 | N-HITS | N-BEATS | |---------------------|---------------------------------|--------------------------------| | **核心机制** | 分层插值 + 多分辨率分析 | 堆叠块 + 双重残差连接 | | **参数量** | 更少（依赖插值共享参数） | 较多 | | **计算效率** | 更高 | 较低 | | **可解释性** | 显式分解多尺度分量 | 分解为趋势和季节项 | --- ### **5. 应用场景** - **长周期预测**：如电力负荷预测（天/周级别）、销售额年度趋势分析。 - **高频数据建模**：如分钟级股票价格波动、传感器信号分析。 - **资源受限场景**：因参数量小，适合边缘设备部署。 --- ### **6. 示例代码框架（PyTorch）** ```python import torch import torch.nn as nn class NHITSBlock(nn.Module): def __init__(self, input_size, horizon, interpolation_ratio=0.5): super().__init__() self.encoder = nn.Sequential( nn.Linear(input_size, 128), nn.ReLU(), nn.Linear(128, 128) ) # 插值层（示例：线性插值） self.upsample = nn.Upsample(scale_factor=interpolation_ratio, mode='linear') self.forecast = nn.Linear(128, horizon) def forward(self, x): features = self.encoder(x) upsampled = self.upsample(features.unsqueeze(1)).squeeze() forecast = self.forecast(upsampled) residual = x - forecast # 简化的残差连接 return forecast, residual # 堆叠多个块构建完整模型 class NHITS(nn.Module): def __init__(self, num_blocks=3): super().__init__() self.blocks = nn.ModuleList([NHITSBlock(input_size=24, horizon=12) for _ in range(num_blocks)]) def forward(self, x): forecasts = [] for block in self.blocks: f, x = block(x) forecasts.append(f) return sum(forecasts) # 融合各块预测结果 ``` --- ### **7. 局限性** - **突变适应性**：对突然的事件（如疫情冲击）可能表现不足，需结合外部变量。 - **高频噪声**：插值可能平滑高频细节，需调整超参数（如插值比例）。 --- 如需进一步实现细节或论文复现，建议参考原始论文：[Neural Hierarchical Interpolation for Time Series Forecasting](https://arxiv.org/abs/2201.12886)。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

颹蕭蕭

白嫖？

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值