（12）时间序列预测之MICN（CNN）

已于 2024-12-05 14:08:20 修改
阅读量1.5k 收藏 11
点赞数 28
分类专栏： 时间序列预测模型 文章标签： cnn 人工智能 神经网络 深度学习
于 2024-11-30 13:25:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_62113015/article/details/144151617
版权

文章目录

文章信息

  1. 模型： MICN (Multi-scale Isometric Convolution Network)
  2. 关键词： 长时预测, 局部和全局信息, 多分枝结构,不同的潜在模式
  3. 作者：Huiqiang Wang, Jian Peng, Feihu Huang, Jince Wang, Junhui Chen, Yifei Xiao
  4. 机构：四川大学
  5. 发表情况： ICLR 2023 notable top 5%（ Published: 02 Feb 2023, Last Modified: 15 Feb 2023 ）
  6. 网址： MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting

前言

1. challenge

  TCN ：使用因果卷积来建模时间因果关系，并使用扩张卷积来扩展感受野。它可以更好地整合序列的局部信息。然而，受感受野大小的限制，TCN往往需要很多层来建模时间序列的全局关系，这大大增加了网络的复杂性和模型的训练难度。
  Transformer：时间算复杂度高，许多tokens之间的注意力计算是没有必要的。而且此类模型不能像CNN结构那样对局部特征进行有针对性的建模。
  在本文中，我们将 CNN 的建模视角与 Transformers 的建模视角相结合，从序列本身的现实特征，即局部特征和全局特征相关性来构建模型。

一、网络结构

  多尺度等距卷积网络（MICN）使用多个不同卷积核的分支分别对序列的不同潜在模式进行建模。对于每个分支，我们使用基于下采样卷积的局部模块提取序列的局部特征，在此基础上，我们使用基于等距卷积的全局模块建模全局相关性。最后，采用Merge操作将多个分支中不同模式的信息进行融合。该设计将时间和空间复杂性降低到线性，消除了许多不必要的冗余计算。
  模型的整体实现：多尺度混合分解（MHDecomp）块来分离输入序列的复杂模式。然后用季节预测块(Seasonal Prediction Block)预测季节信息，用趋势-周期预测块(Trend-cyclical Prediction Block)预测趋势-周期信息。然后将预测结果相加，得到最终的预测

最低0.47元/天 解锁文章
时间序列预测模型分享 MLP CNN LSTM 完整代码可直接运行
03-26 771
时间序列预测模型分享 MLP CNN LSTM 完整代码可直接运行
读论文《Micn：用于长期序列预测的多尺度局部和全局上下文建模》
vzvzvzv的博客
05-21 3048
原标题MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting，ICLR上的top5%
micn: multi-scale local and global context modeling for long-term series forecasting
小蚂蚁与大象
02-20 628
用长度为S−1的占位符为0，它的内核等于S，等距卷积填充长度为S的序列 这意味着我们可以使用一个大的卷积核来测量整个序列的全局相关性。此外，等距卷积的核是由所有训练数据确定的，可以引入一个全局的时间归纳偏差(平移等方差等)，并实现比自注意力(相关性从不同元素之间的乘积获得)更好的泛化。对于每个分支，我们使用基于下采样卷积的局部模块提取序列的局部特征，在此基础上，我们使用基于等距卷积的全局模块对全局相关性进行建模。MIC层包含多个分支，具有不同的尺度大小，用于模拟潜在的不同时间模式。
时间序列预测（十九）——卷积神经网络（CNN）在时间序列中的应用
qq_47885795的博客
03-13 1818
1、优点CNN 可以有效提取局部时序特征，适合模式识别和短期依赖特征的建模。权重共享和池化操作可以减少模型参数，缓解过拟合问题。可以与其他深度学习模型（如 LSTM）结合，用于复杂时序数据的处理。2、缺点CNN 难以捕捉长时间依赖关系，适合短期或局部特征的提取。参数调优较复杂，卷积核大小、步长、池化窗口等参数需要多次尝试。对非平稳时间序列的数据敏感，通常需要在预处理阶段去除趋势和季节性。CNN 在时间序列分析中展现了强大的特征提取能力，适用于分类、预测和异常检测等任务。
MICN论文解析
w1191474296的博客
10-19 909
该论文介绍了一种新颖的时序预测模型，名为MICN（Multi-scale Interacting Convolutional Network，多尺度交互卷积网络）。MICN 旨在更好地捕捉时间序列数据的多尺度特征和不同时间段之间的相互关系，以提高预测的准确性。
ICLR 2023 | 用于长时间序列预测的多尺度混合分解模块
Paper weekly
02-07 4532
‍©作者 | 杜大钊单位 |中科院软件所研究方向 | 时序建模论文标题：MICN: Multi-scale Local and Global Context Modeling for Long-term Series Forecasting论文链接：https://openreview.net/forum?id=zt53IDUR1U本文中了 2023 ICLR 的 oral。又是一篇长时间序列预...
ICLR 2023 最高分论文被锤抄袭？？.rar
10-18
ICLR 2023 最高分论文被锤抄袭？？.rar
基于卷积神经网络(CNN)的时间序列预测
yuchunyu12的博客
09-25 2124
卷积神经网络（Convolutional Neural Network，简称CNN）在图像处理中被广泛使用，但也可以应用于时间序列预测问题。在时间序列预测中，CNN可以用于提取序列中的特征，并学习这些特征与输出之间的关系。
（14）时间序列预测之ModernTCN
m0_62113015的博客
12-01 989
基于的模型和基于MLP的模型具有全局有效感受野（ERF），因此可以更好地捕获长期时间（跨时间）依赖性，从而显著优于传统的TCN。而SCINet和MICN主要关注的是设计更复杂的结构来处理传统的卷积，而忽略了更新卷积本身的重要性，下图给出了这两种模型的感受野对比。其中，ModernTCN通常采用大核，来有效地提高ERF。Depthwise卷积与Pointwise卷积。
【论文精读】 | 用于时间序列预测的通道对齐坚固的混合Transformer
QuantumYou的博客
09-08 1594
最近的研究表明，Transformer 模型在时间序列预测方面具有强大的功能。导致 transformer 成功的关键因素之一是用于提高训练鲁棒性的通道无关 （CI） 策略。然而，对 CI 中不同渠道之间相关性的无知会限制模型的预测能力。在这项工作中，我们设计了一个特殊的 Transformer，即 Channel Aligned Robust Blend Transformer（简称 CARD），它解决了 CI 型 Transformer 在时间序列预测中的关键缺点。首先，CARD 引入了一种。
时间序列预测模型——索引篇
m0_62113015的博客
12-05 1065
的建模策略，既可以先通过下采样分解序列，然后将不同尺度的数据送入相似的多尺度分支，将不同分支的结果混合，如TimeMixer、MICN；模式，计算不同patch_embedding(时间上) 的注意力和不同变量间的注意力，最有名的是Crossformer（出现时间较早），它还是用到分层的encoder-decoder模式，不同层级代表不同的时间尺度。特性也被关注起来，即：时间序列在不同的采样尺度上呈现出不同的时间变化，而在时间细粒度上，细尺度和粗尺度往往反映不同维度的变化趋势（如宏观和微观）。
TensorFlow搭建CNN实现时间序列预测（风速预测）
KI的博客
08-29 6760
TensorFlow搭建CNN实现时间序列预测（风速预测）
论文研究-一种基于CNN模型多元时间序列分类结构 .pdf
08-16
一种基于CNN模型多元时间序列分类结构，佘强，李静林，多元时间序列分类问题是时间序列挖掘领域中的重要问题，目前的常规做法是使用基于欧氏距离或 DTW 距离的K近邻分类模型，或基于统计
CNN实现时间序列预测(PyTorch版)
qq_39064418的博客
10-22 2万+
CNN实现时间序列预测 工具集 Python3.8 PyTorch1.10 Jupyter6.3.0 具体安装过程就不多赘述了:） 数据集介绍 本次实验使用的数据集是关于乙醇年销售额数据，该数据集是一个单变量时间序列，数据集链接在本文末尾。 数据集格式： 数据处理 加载数据集 import numpy as np import pandas as pd import matplotlib.pyplot as plt Dataset = pd.read_csv('..\data\Alcohol_Sales
时间序列预测之卷积神经网络CNN
比尔凡凡的博客
11-03 4187
使用一维卷积神经网络预测时间序列
CNN+LSTM+Attention实现时间序列预测
热门推荐
pengxiang1998的博客
11-17 5万+
LSTM 隐藏层输出向量作为注意力层的输入，通过一个全连接层进行训练，再对全连接层的输出使用 softmax 函数进行归一化，得出每一个隐藏层向量的分配权重，权重大小表示每个时间步的隐状态对于预测结果的重要程度。权重训练过程如下：Ｓ。
CNN+LSTM+Attention实现时间序列预测(PyTorch版)
sybh的博客
10-04 3328
一、基于PyTorch搭建CNN+LSTM+Attention模型实现风速时间序列预测 本文的前两篇文章写的是LSTM+Attention和CNN+Attention，由于对于CNN和LSTM可以进行融合形成CNN-LSTM模型，所以本项目作为这三个模型融合的最终版，也就是所谓的CNN+LSTM+Attention。 对于这个融合模型效果理论是相当不错的，但是由于本文只是为了给初学者传达这中搭建方法，所以对于超参数没有进行调节，所以这个终极融合模型的效果应该是体现不出来的，如果需要发挥出它的真正效果，需
【数据＋代码】CNN-LSTM模型实现时间序列预测
weixin_46287760的博客
02-08 1万+
本文使用深度学习组合模型CNN-LSTM来进行销售额的预测。将介绍这一模型的原理并应用于一个销售数据集，帮助我们理解销售模式并进行准确的销售额预测。
【CNN时序预测】基于卷积神经网络的时间序列预测附matlab完整代码
qq_59747472的博客
07-12 562
基于卷积神经网络（CNN）的时间序列预测是一种使用CNN模型来处理时间序列数据并进行预测的方法。相比于传统的基于循环神经网络（RNN）的方法，CNN在处理时间序列数据时具有一些独特的优势。以下是基于CNN的时间序列预测的基本步骤：数据准备：将时间序列数据集分为训练集和测试集。训练集用于训练CNN模型，测试集用于评估模型的预测性能。数据转换：由于CNN是基于图像处理的模型，需要将时间序列数据转换为二维图像数据。常用的方法有滑动窗口法和傅里叶变换法等。
Micn: Multiscale local and global context modeling for long-term series forecasting.
最新发布
03-25
### MICN 模型概述 MICN（Multi-scale Local and Global Context Modeling for Long-term Series Forecasting）是一种专门设计用于长时间序列预测的深度学习框架[^1]。该模型通过结合多尺度特征提取以及局部和全局上下文建模的能力，显著提升了对于复杂时间序列数据的预测性能。 #### 多尺度特征提取 为了捕捉不同时间粒度下的模式变化，MICN 利用了卷积神经网络 (CNN) 的层次结构来实现多尺度特征提取。具体而言，它采用多个并行的一维卷积层，每层对应不同的感受野大小，从而能够捕获短时波动与长期趋势之间的关系。 ```python import torch.nn as nn class MultiScaleConv(nn.Module): def __init__(self, input_channels=1, output_channels=[8, 16], kernel_sizes=[3, 7]): super(MultiScaleConv, self).__init__() self.convs = nn.ModuleList([ nn.Conv1d(input_channels, out_ch, k_size, padding=k_size//2) for out_ch, k_size in zip(output_channels, kernel_sizes) ]) def forward(self, x): outputs = [conv(x) for conv in self.convs] return torch.cat(outputs, dim=1) ``` 上述代码展示了如何构建一个多尺度一维卷积模块，其中 `kernel_sizes` 参数控制着各个分支的感受野范围。 #### 局部与全局上下文建模 除了关注单一时序片段内的特性外，MICN 还引入了一种机制用来融合更广泛的背景信息——即所谓的 **global context**。这种策略允许当前时刻的状态不仅依赖于最近的历史记录，还可以受到远距离节点的影响。为此，作者采用了自注意力机制(Self-Attention Mechanism)，其核心思想在于计算任意两个位置间的重要性权重，并据此调整输入表示形式。 另一方面，在处理局部区域方面，则继续沿用传统的循环单元(如GRU或LSTM)，它们擅长描述连续帧间的动态演变过程。 ```python import torch from torch import Tensor from typing import Optional def scaled_dot_product_attention(query: Tensor, key: Tensor, value: Tensor, mask: Optional[Tensor]=None) -> Tuple[Tensor]: d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2,-1)) / math.sqrt(d_k) if mask is not None: scores += mask * -1e9 attention_weights = F.softmax(scores,dim=-1) weighted_sum = torch.matmul(attention_weights,value) return weighted_sum, attention_weights ``` 此函数实现了标准缩放点乘法注意机制的核心部分，它是构成整个架构中不可或缺的一个组件。 ### 总结 综上所述，MICN 提供了一个强大的解决方案，适用于那些具有高度非线性和跨时段关联性的场景分析需求。通过对多种时空维度上的交互作用进行全面刻画，最终达到了提高预报精度的目的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值