【论文阅读】Informer：Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

最新推荐文章于 2024-10-13 19:26:06 发布
原创 最新推荐文章于 2024-10-13 19:26:06 发布 · 3.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#算法

Informer是一种针对长序列时间序列预测的高效Transformer模型，解决了自注意力计算的复杂度、长输入的内存限制和长输出的预测速度问题。它通过ProbSparse自我注意力机制，实现了在长序列任务上的应用，并提升了性能。模型结构包含编码器和解码器两部分，适用于诸如滑动窗口固定条件下的未来时间点预测任务。

【论文阅读】Informer：Beyond Efficient Transformer for Long Sequence Time-Series Forecasting

原文：https://arxiv.org/abs/2012.07436
code（pytorch实现）：https://github.com/zhouhaoyi/Informer2020

贡献

  1. The quadratic computation of self-attention 解决自注意力二次计算
  2. The memory bottleneck in stacking layers for long inputs 解决长序列的内存瓶颈
  3. The speed plunge in predicting long outputs 解决长序列的速度瓶颈
    总之，提出ProbSparse self-attention，实现transformer在长时序的应用，以及改进一些性能问题。

informer整体结构

整体为encoder-decoder模型：

  • 左侧为encoder部分
  • 右侧为decoder部分
    在这里插入图片描述

问题定义

LSTF问题：在滑动窗口固定的情况下，已知Xt预测Yt。

在这里插入图片描述

在这里插入图片描述

encoder

在这里插入图片描述

decoder

Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
pwtd_huran的博客
10-09 615
摘要 许多实际应用需要对长序列时间序列进行预测，例如耗电量计划。 长序列时间序列预测（LSTF）需要模型的高预测能力，即高效精确地捕获输出和输入之间的长期依赖关系的能力。 最近的研究表明，Transformer具有提高预测能力的潜力。 但是，Transformer有几个严重的问题，使其无法直接应用于LSTF，包括二次时间复杂度，高内存使用率，以及编码器-解码器体系结构的局限性。 为了解决这些问题，我们为LSTF设计了一个有效的基于Transformer的模型，称为Informer，具有三个独特的特..
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting论文笔记
reallsp的博客
03-06 2337
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting AAAI2021 Best paper Informer 的主要工作是使用 Transfomer 实现长序列预测（Long Sequence Time-Series Forecasting），以下称为 LSTF。针对 Transfomer 在长序列预测中的不足（平方时间复杂度、高内存占用和现有编解码结构的局限性），提出 ProbSparse 注意力
Informer代码详细注释版
10-09
逐行注释，十分详细！ ## <span id="citelink">Citation</span> If you find this repository useful in your research, please consider citing the following paper: ``` @inproceedings{haoyietal-informer-2021, author = {Haoyi Zhou and Shanghang Zhang and Jieqi Peng and Shuai Zhang and Jianxin Li and Hui Xiong and Wancai Zhang}, title = {Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecas
论文解读10——Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
对流层的酱猪肘~的博客
12-18 1840
这篇是2021年AAAI的best paper，主要提出了Informer模型来解决Transformer中无法用于长时间序列预测的问题，提高了长时间序列预测问题的能力。
论文笔记：Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
qq_40206371的博客
09-14 3084
Transformer 被广泛应用于时间序列预测任务，但是Transformer存在一些严重的问题，使其无法直接应用到LSTF（long sequence time-series forecasting）问题上的时间复杂度
【paper-note9】Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
zqws1018的博客
12-23 1158
前言 Transformer[1]模型在NLP领域提出之后，风靡众多领域，有大一统的模式。这篇论文就是对 transformer 进行改进，提出 Informer 模型应用在长时序预测领域。该模型设计合理精巧，利用长尾分布截取头部的attention点积对，提高运行效率、降低运行成本；同时模型结合长时序预测的特点，在输出阶段采用生成式的方法，一次性生成待预测的序列，避免了传统序列预测方法中.
Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting
最新发布
qq_41200212的博客
10-13 1758
许多实际应用需要预测长序列时间序列，例如用电量规划。长序列时间序列预测 （LSTF） 要求模型具有很高的预测能力，即能够有效地捕获输出和输入之间的精确长程依赖耦合。最近的研究表明，Transformer 有可能提高预测能力。但是，Transformer 存在几个严重问题，使其无法直接应用于 LSTF，包括二次时间复杂度、高内存使用率和编码器-解码器架构的固有限制。
源码阅读及理论详解《 Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting 》
热门推荐
Alkaid2000的博客
06-05 1万+
Informer 是 AAAI 2021的best paper。主要focus在长序列预测。通过修改transformer的结构，提高transformer的速度。
阅读笔记 | Informer: Beyond efficient transformer for long sequence time-series forecasting
一颗蚂蚱
03-04 1192
与Autoformer和FEDformer等相似，Informer算是较早的一篇致力于将Transformer应用于长期时序预测的论文。本文同样着眼于解决原始Transformer的计算和存储复杂度问题，不同的是还注意到了原始Encoder-Decoder结构中，Decoder结构导致的step-by-step的生成方式带来的低效问题。文章发现并非所有时点的数据都与其他时点有很强的相关性，因此希望利用这种性质减少注意力计算。本文模型依旧是Encoder-Decoder结构，其中Encoder同样是多层结构，
Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting（2020-12-14）
weixin_49346755的博客
10-10 710
对于长序列时间预测一直是研究的热点，随着预测序列长度增加，预测难度越来越高，LSTF需要模型提高预测能力，本文设计了一个高效的基于 Transformer 的 LSTF 模型，名为 Informer。informer模型成功地提高LSTF问题的预测能力，验证了类Transformer模型的潜在价值；
论文阅读笔记 - Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting
mohen_777的博客
10-11 952
在开始之前，先来感受一下LSTM在长序列中的一个例子的实验结果：随着数据量的增加，很明显LSTF的主要挑战是增强预测能力以满足日益增长的序列需求，即要求模型具有出色的long-range对齐能力对长序列输入和输出的有效操作Transformer的出现，由于其自注意力机制可以减少网络信号传播路径的最大长度至理论最短O1O(1)O1，从而是Transformer表现出了解决LSTF问题的巨大潜力。
「AAAI2021」【Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecast】论文笔记
weixin_44808865的博客
03-05 1821
「AAAI2021_Best_Paper」【Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecast】论文笔记Abstract1. Introduction2. Preliminary3. Methodology4. Experiment5. Conclusion Paper：https://arxiv.org/abs/2012.07436v2 Code：https://github.com/zhouhaoyi
解读AAAI 2021最佳论文：Informer: Beyond Efficient Transformer for Long SequenceTime-Series Forecasting
m0_61684577的博客
11-17 2583
许多实际应用需要长序列时间序列的预测，如电力消耗计划。长序列时间序列预测(LSTF)要求模型具有较高的预测能力，即能够有效地捕捉输出和输入之间精确的远程依赖耦合。最近的研究显示了Transformer在提高预测能力方面的潜力。然而，Transformer存在一些严重的问题，使其无法直接应用于LSTF，包括二次元时间复杂度、高内存使用量和编码器-解码器体系结构的固有限制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值