（14）时间序列预测之ModernTCN

已于 2024-12-05 14:10:05 修改
阅读量989 收藏 26
点赞数 16
分类专栏： 时间序列预测模型 文章标签： 深度学习 cnn 神经网络
于 2024-12-01 17:27:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_62113015/article/details/144165901
版权

文章目录

文章信息

  1. 模型： ModernTCN (A Modern Pure Convolution Structure for General Time
    Series Analysis)
  2. 关键词：现代卷积
  3. 作者：Luo donghao, wang xue
  4. 机构： 清华大学精密仪器系
  5. 发表情况：ICLR 2024（Published: 16 Jan 2024, Last Modified: 22 Mar 2024）
  6. 网址：ModernTCN: A Modern Pure Convolution Structure for General Time Series Analysis

前言

提升感受野

  基于Transformer的模型和基于MLP的模型具有全局有效感受野（ERF），因此可以更好地捕获长期时间（跨时间）依赖性，从而显著优于传统的TCN。而SCINet和MICN主要关注的是设计更复杂的结构来处理传统的卷积，而忽略了更新卷积本身的重要性，下图给出了这两种模型的感受野对比。
在这里插入图片描述
  其中，ModernTCN通常采用大核，来有效地提高ERF。

相关知识

Depthwise卷积（DWConv）

  Depthwise Convolution的一个卷积核负责一个通道，一个通道只被一个卷积核卷积。而常规卷积每个卷积核是同时操作输入图片的每个通道，这样就不会混合通道，只会混合token
在这里插入图片描述

Pointwise 卷积（PWConv）

  与常规卷积运算非常相似，它的卷积核的尺寸为 1×1×M（M为上一层的通道数）。所以这里的卷积运算会将上一步的map在深度方向上进行加权组合，生成新的Feature map。有几个卷积核就有几个输出Feature map。
在这里插入图片描述

组卷积（Group Convolution）

  组卷积是将输入数据的 C i n C_{in} Cin​ 个channel划分为 g g g 组，即每组的通道数为 C i n

最低0.47元/天 解锁文章
深度学习 | ModernTCN模型结构
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
12-30 2532
深度学习 | ModernTCN模型结构
ModernTCN：用于一般时间序列分析的现代纯卷积结构
小嘤熊的博客
10-08 712
文章的ModernTCN能够获得比以往基于卷积的方法更大的ERF。Groups是群组卷积中的组数。ModernTCN，一种现代纯卷积结构，它在多个主流时间序列分析任务上取得了与最先进的基于Transformer和MLP的模型相媲美的性能，同时保持了卷积模型的效率优势。：通过使用大核心尺寸而不是堆叠更多小核心，ModernTCN显著扩大了ERF，这有助于更好地捕捉时间序列数据中的长期依赖性。借鉴了Transformer中的架构设计，ModernTCN采用了深度卷积和逐点卷积的组合，以提高模型的表示能力。
ModernTCN
whaosoft143ai的博客
12-20 608
1。
现代时间序列分析的曙光：探索ModernTCN
gitblog_00585的博客
09-02 859
现代时间序列分析的曙光：探索ModernTCN 项目地址:https://gitcode.com/gh_mirrors/mo/moderntcn 在当今数据驱动的时代，时间序列分析成为了解析动态世界的钥匙。今天，我们来深入探讨一项即将在ICLR 2024上作为Spotlight展示的突破性研究——ModernTCN（现代全卷积结构用于一般时间序列分析）。 项目介绍 ModernTCN是由清华大学的...
MODERNTCN: A MODERN PURE CONVOLUTION STRUCTURE FOR GENERAL TIME SERIES ANALYSIS
weixin_45731480的博客
06-16 1752
近年来，基于 Transformer 和 MLP 的模型迅速崛起，并在时间序列分析中占据主导地位。相比之下，卷积现在由于性能较差而在时间序列任务中失去动力。本文研究了如何在时间序列分析中更好地使用卷积这一悬而未决的问题，并努力将卷积带回时间序列分析的舞台。为此，我们对传统的TCN进行现代化改造，并进行时间序列相关的修改，使其更适合时间序列任务。作为结果，我们提出了 ModernTCN，并通过时间序列社区中很少探索的方式成功解决了这个悬而未决的问题。
ModernTCN：用于一般时间序列分析的现代纯卷积结构（附代码）
小鹏AI
12-21 5247
然而，作者发现采用上图（b）的结构构建的模型效果也不是特别好，这是因为这个现代卷积结构中并没有专门为时间序列设计的一些特殊的东西，一个重要的就是如何建模跨变量依赖性。因此，作者采用了两个组卷积，其中一个组卷积的 Group 数为 M（表示每 D 个通道构成一个组，因此用来建模通道间关系），另一个组卷积的 Group 数为 D（表示每 M 个变量构成一个组，因此用来建模变量间关系）。，也就是多变量时间序列中变量之间的关系。，希望用 DWConv 来建模时间上的关系，但又不希望它参与到通道间和变量间的建模上。
时序论文28｜CycleNet：通过对周期模式进行建模增强时间序列预测
u010681011的专栏
11-30 1258
这是今年NIPS的一篇时序论文，主要是提出了一种通过对周期模式进行建模来提高时间序列预测性能的方法。很明显，论文潜在的应用领域是那些具有周期模式的数据。这是一种很好的思路，就是把应用方向限制在具体问题上。时间序列领域有很多问题，比如：平稳性、周期性、长/短预测、趋势分解等等，一个模型肯定不能适应所有数据，解决所有问题，那么我就把问题定义清楚，只解决我定义的问题。在论文中对结果做定量分析，解释本文方法为什么，并对其局限性和未来研究方向进行了讨论，这样相当于间接堵住审稿人的嘴。
时间序列在数据embedding方面有哪些创新方法和工作？
u010681011的专栏
11-22 1143
作为一个纯粹的卷积结构，ModernTCN在五个主流的时间序列分析任务（长期和短期预测、插补、分类和异常检测）上仍然实现了一致的最先进性能，同时保持了基于卷积模型的效率优势，因此提供了比现有的基于Transformer和基于MLP的模型更好的效率和性能平衡。但同时，局部位置信息，即时间序列的顺序是极其重要的。本篇文章就整理了近期在时序数据输入嵌入方面的工作，这些工作为了增强时间序列输入的时间上下文，改进了时序数据的嵌入方式，如：固定的位置编码、通道投影嵌入、可学习的时态嵌入、带有时间卷积层的时态嵌入等。
最新-时间序列-顶会顶刊论文汇总【论文/源码链接】
weixin_45016199的博客
05-18 4178
这半年我一直在看时间序列相关的论文，这篇汇总非常有用，全是干货。顶会顶刊，开源代码。祝学习愉快！【搬运自github】【侵删】
时间序列预测模型——索引篇
m0_62113015的博客
12-05 1065
的建模策略，既可以先通过下采样分解序列，然后将不同尺度的数据送入相似的多尺度分支，将不同分支的结果混合，如TimeMixer、MICN；模式，计算不同patch_embedding(时间上) 的注意力和不同变量间的注意力，最有名的是Crossformer（出现时间较早），它还是用到分层的encoder-decoder模式，不同层级代表不同的时间尺度。特性也被关注起来，即：时间序列在不同的采样尺度上呈现出不同的时间变化，而在时间细粒度上，细尺度和粗尺度往往反映不同维度的变化趋势（如宏观和微观）。
AI+HI系列（2）：PatchTST、TSMixer、ModernTCN时序深度网络构建量价因子.pdf
07-03
AI+HI系列（2）：PatchTST、TSMixer、ModernTCN时序深度网络构建量价因子
机器学习周报-ModernTCN文献阅读
weixin_51923997的博客
01-05 830
本周阅读了MODERNTCN：一种时间序列分析的现代纯卷积结构，其在多个主流时间序列分析任务上取得了与最先进的基于Transformer和MLP的模型相媲美的性能，同时保持了卷积模型的效率优势。ModernTCN借鉴了Transformer中的架构设计，采用了深度卷积和逐点卷积的组合，以提高模型的表示能力。同时，为了更好地处理时间序列数据，ModernTCN引入了变量独立嵌入和跨变量依赖捕获机制。
论文阅读【时间序列】ModerTCN (ICLR2024)
micaudience的博客
09-24 955
ModerTCN简介，梳理CNN分组设计结构。
顶会最高分！基于CNN的时间序列新SOTA！
学姐带你玩AI的博客
07-25 1442
ModernTCN，时间序列领域一种现代纯卷积结构，获得了ICLR 2024时序领域论文最高分。相比主流方法，它在保持性能的同时实现了更高的效率。ModernTCN是一种方法，这类方法在捕捉非线性和长期依赖关系上占据优势，能更有效地处理复杂时序数据，帮助我们实现高效并行计算，提升速度效率，轻松应对不同类型的时序问题。因此，这类方法也是当前时序领域的一个热门研究方向，而且没有基于Transformer和基于MLP的那么卷，是个相对容易。本文挑选了。
机器学习顶会ICLR 2024录用论文合集，包含时间序列、图大模型、agent等热门主题
学姐带你玩AI的博客
01-19 9709
朋友们，ICLR 2024这周放榜了！据统计，本届会议共收到了7262篇论文，整体接收率约为31%，与去年（31.8%）基本持平。其中Spotlight论文比例为5%，Oral论文比例为1.2%。不知道各位看完有什么感想，我只觉卷上加卷，仿佛误入神仙打架现场...听说还有热度非常高的论文被拒稿，这下对31%接收率下的神文都讲的啥更好奇了。
ICLR‘2024时间序列论文汇总！预测、分析、分类等方向的最新进展
2401_82426425的博客
01-29 3979
与基于 Transformer 和 MLP 的模型相比，ModernTCN 提供了更好的效率和性能平衡，并展示了更大的有效感受野，从而更好地利用了卷积在时间序列分析中的潜力。本文提出了一种新的可解释稀疏系统识别方法，用于时间序列预测，它结合了基于知识和数据驱动的方法，利用傅里叶基处理时间序列数据，并通过稀疏优化实现高精度预测。为解决此问题，本文提出了一种无源无监督的对齐方法，利用学习到的动态重用预训练的生成模型，避免从头训练，并在模拟中验证了该方法对运动皮层神经记录的对准效果。
ICLR 2024 时间序列（Time Series）高分论文
suzukiwudi的博客
11-26 1460
本文总结了2024 ICLR投稿时间序列的高分论文，其中包含了。供大家学习，欢迎大家补充。挑选原则：均分不低于6(≥6)
MODERNTCN:A MODERN PURE CONVOLUTION STRUCTURE FORGENERAL TIME SERIES ANALYSIS
最新发布
m0_57689625的博客
01-12 1268
基于Transformer 及 MLP 模型在时间序列分析中迅速崛起并占据主导，卷积在时间序列任务中因性能欠佳而势头渐弱。探讨如何在时间序列分析中更好地利用卷积，使卷积重回该领域。对传统 TCN 进行现代化改进，使其更适用于时间序列任务，提出 ModernTCN，在五个主流时间序列分析任务中达到先进水平，同时保持卷积模型的效率优势，揭示 ModernTCN 具有更大的有效感受野，能更好地发挥卷积在时间序列分析中的潜力，而且它也保持了基于卷积的模型的效率优势，提供了性能和效率的更好平衡。
ICLR 2024高分投稿：用于一般时间序列分析的现代纯卷积结构
Paper weekly
12-14 1194
©作者 |杜大钊单位 |中科院软件所研究方向 |时序建模这篇是 ICLR 上用 TCN 来做一般的时间序列分析的论文，在 Rebuttal 之后的分数为 888，算得上是时间序列领域相关的论文中最高分那一档了。本文提出了一个 ModernTCN 的模型，实现起来也很简单，所以我后面附上了模型的代码实现。论文标题：ModernTCN: A Modern Pure Convolution Str...
ModernTCN得优缺点
01-04
ModernTCN（Temporal Convolutional Network）通过采用因果卷积结构，能够有效捕捉时间序列中的长期依赖关系。由于其并行化特性，在训练过程中可以显著减少计算延迟[^1]。 #### 参数共享机制带来的优势 该模型内部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值