【论文阅读】2023 MTS-Mixers

最新推荐文章于 2025-03-10 16:34:20 发布
最新推荐文章于 2025-03-10 16:34:20 发布
阅读量2.5k 收藏 17
点赞数
分类专栏： 时序预测 机器学习 文章标签： 论文阅读 深度学习 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mataolc/article/details/129232940
版权
文章提出MTS-Mixer模型，针对Transformer在处理时间序列数据时的局限，如注意力机制非必需及冗余问题，MTS-Mixer采用两种因子化模块有效捕获时间与通道相关性。实验证明，MTS-Mixer在效率和性能上超过基于Transformer的现有模型，尤其适用于多元时间序列的低秩特性建模。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2023，华为 

1. 简介

由于擅长捕获了长期依赖性，基于Transformer的模型最近取了很多进展，也是研究的热点。但是作者发现Attention机制有以下问题（1）对于捕获时间相关，注意力机制性不是必需的（2）时间和channel的交互作用的捕获中的纠缠和冗余影响了预测性能，（3）对输入和预测序列之间的映射进行建模很重要。为此，我们提出了MTS混合器，它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明，MTS Mixer以更高的效率优于现有的基Transformer的模型。

如下图所示，多元时间序列无论是在temporal维度还是channel维度，都存在比较强的冗余性。这些冗余性都表明，大多数多元时间序列都存在低秩性，即只用一小部分数据就可以表示出近似完整的原始矩阵。利用这个性质，可以简化多多元时间序列的建模。

                          

 

2. MTS-Mixer模型

MTS-Mixer的模型结构如下，第二列是一个抽象结构，后面3列是具体的实现方法

这三种实现方式的整体计算逻辑可以表示为如下形式，时间维度信息提取+空间维度信息提取+信息融合和输出映射。


Attention-based MTS-Mixer

Random matrix MTS-Mixer

Factorized temporal and channel mixing

 

 

3. 实验结果

论文对比了MTS-Mixer和多种模型的效果，基本都达到了SOTA效果

 

MTS-Mixers: Multivariate Time Series Forecasting via Factorized Temporal and Channel Mixing
小蚂蚁与大象
08-02 346
为了公平地比较预测性能，我们遵循相同的评估协议，其中ILI的历史视界长度设置为36，其他为96。ILI的预测长度为{24,36,48,60}，其他的预测长度为{96,192,336,720}。为了公平比较，我们遵循相同的标准协议，将所有预测数据集按ETT数据集6:2:2和其他数据集7:1:2的比例分成训练集、验证集和测试集。记录了2002-2021年美国疾病控制与预防中心每周流感样疾病(ILI)患者数据，描述了观察到的ILI患者比例和患者总数。为了公平的比较，所有的基线都遵循相同的评估协议。
多元时序预测论文解读|MTS-Mixers：通过分解时间和通道混合进行多元时间序列预测
sinat_38225756的博客
01-19 3196
具体来说，发现（1）注意力对于捕获时间依赖性不是必需的，（2）捕获时间和通道交互中的冗余会影响预测性能，以及（3）对输入和预测序列之间的映射建模很重要。最近，由于捕获了远程依赖关系，基于 Transformer 的模型在预测任务中显示出了巨大的潜力。这三个矩阵都是随机初始化的。对于时间维度的冗余性，将源时间序列拆分成多个子序列，每段子序列分别进行temporal信息的学习，然后再按原来的顺序拼接在一起。如下图，在时间维度上，对一个序列进行下采样，生成的新序列和原始序列保持着相似的趋势性、季节性。
推荐开源项目：MTS-Mixers——多变量时间序列预测的因子化时空混合器
gitblog_00092的博客
06-07 864
推荐开源项目：MTS-Mixers——多变量时间序列预测的因子化时空混合器 去发现同类优质开源项目:https://gitcode.com/ 在现代数据科学中，时间序列预测是不可或缺的一部分，尤其在诸如能源消耗预测、股票市场趋势分析和天气预报等领域。今天我们要向您推荐一个创新的开源项目——MTS-Mixers。这个项目基于《MTS-Mixers: 多变量时间序列预测通过因子化时空混合》这篇论文的官...
TimeMixer：用于时间序列预测的可分解多尺度混合模型
最新发布
SmartLab307的博客
03-10 1679
在时间序列预测领域，准确捕捉复杂的时间变化是关键挑战。本文介绍的“TimeMixer: Decomposable Multiscale Mixing for Time Series Forecasting”提出了创新的TimeMixer模型，在长短期预测任务中均展现卓越性能。
MTS-Mixers（含代码）
332295505的博客
04-13 2754
MTS-Mixers 是一种用于多元时间序列预测的新颖且灵活的框架，通过因子化时间和通道混合来捕捉数据中的复杂依赖关系。整个框架包括多种实现，利用注意力机制、随机矩阵操作和因子化 MLP 来有效地处理时间和通道依赖关系，同时降低计算复杂性。本研究在十个基准测试上进行了实验，并在预测任务中取得了令人满意的性能。
华为2023年提出的多元时间序列预测模型（MTS-Mixers）
332295505的博客
02-26 1万+
华为在这2023年2月9日发布了一篇的多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。
华为2023年多元时间序列预测模型（MTS-Mixers）
datayx的文章
10-19 1006
向AI转型的程序员都关注了这个号????????????华为在这2023年2月9日发布了一篇关于多元时间序列预测的文章，借鉴了NLP中前一阵比较热的Mixer模型，取代了Attention结构，不仅实现了效果上的提升，而且还实现了效率上的提高。1. Transformer的探讨Transformer在时间序列预测中的作用最近得到非常广泛地探讨。下图为经典Transformer时间序列预测模型图。Transforme...
深度学习-时间序列预测模型实战案例MTS-Mixers模型python代码.zip
06-02
本案例将聚焦于一个名为MTS-Mixers的深度学习模型，它专门用于处理多维时间序列数据。我们将深入探讨该模型的实现细节，并通过Python代码实战来加深理解。 首先，MTS-Mixers模型的核心在于混合不同的特征表示，以...
基于PyTorch的MTS-Mixers代码
04-13
这是MTS-Mixers的官方实现：通过因子化时间和通道混合进行多元时间序列预测。 使用： 1. 安装 Python 版本不低于 3.6，PyTorch 版本不低于 1.5.0。 2. 运行 pip install -r requirements.txt 3. 下载数据并将 .csv ...
时间序列预测模型实战案例深度学习华为MTS-Mixers模型
10-27
首先我们要对时间序列概念有一个基本的了解时间序列预测大致分为两种一种是单元时间序列预测另一种是多元时间序列预测单元时间序列预测是指只考虑一个时间序列的预测模型。它通常用于预测单一变量的未来值，例如股票...
时间序列预测模型实战案例(一)深度学习华为MTS-Mixers模型
热门推荐
Snu77的博客
09-15 1万+
首先我们要对时间序列概念有一个基本的了解时间序列预测大致分为两种一种是单元时间序列预测另一种是多元时间序列预测单元时间序列预测是指只考虑一个时间序列的预测模型。它通常用于预测单一变量的未来值，例如股票价格、销售量等。在单元时间序列预测中，我们需要对历史数据进行分析，确定趋势、季节性和周期性等因素，并使用这些因素来预测未来的值。常见的单元时间序列预测模型有移动平均模型（MA）自回归模型（AR）自回归移动平均模型（ARMA）差分自回归移动平均模型（ARIMA）
Two-Way String Matching (1991)-计算机科学
04-22
Two-Way String-MatchingMAXIME CROCHEMORE AND DOMINIQUE PERRINL.I. T. P., Institut Blaise Pascal, Universit6 Paris 7, 2, Place Jussieu, Paris Cedex 05, FranceAbstract. A new string-matching algorithm is presented, which can be viewed as an intermediatebetween the classical algorithms of Knuth, Morris, and Pratt on the one hand and Boyer and Moore, on the other hand. The algorithm is linear in time and uses constant space as the algorithm of Galil andSeiferas. It presents the advantage of being re
MLP-Mixer：一种无卷积、无注意力、纯MLP构成的视觉架构
dawnyi_yang的博客
05-09 2845
摘要 目前计算机视觉领域多采用卷积神经网络（CNN）和基于自注意力的网络（如ViT）。近日，谷歌的研究团队（原 ViT 团队）提出了一种舍弃卷积和自注意力且完全使用多层感知机（MLP）的视觉网络架构，在设计上非常简单，并且在 ImageNet 数据集上实现了媲美 CNN 和 ViT 的性能表现。 论文地址：MLP-Mixer: An all-MLP Architecture for Vision 文章结构 第一部分介绍了MLP-Mixer的宏观结构，介绍了 Mixer采用的两种类型的MLP层。 第二部分介绍
mixer编程
duyouhua1214
12-26 256
mixer编程声卡上的混音器由多个混音通道组成，它们可以通过驱动程序提供的设备文件/dev/mixer进行编程。对混音器的操作一般都通过ioctl()系统调用来完成，所有控制命令都以SOUND_MIXER或者MIXER开头，表17.1列出了常用的混音器控制命令。表17.1 混音器常用命令命 令 作 用SOUND_MIXER_VOLUME 主音量调节SOUND_MIXER_BASS 低音控制SOUN...
【视觉 Transformer】超详细解读 MLP-Mixer 模型
m0_63642362的博客
01-15 8259
MLP 结构又回来了？无需 Attention 就能在 ImageNet-1K 上获得最高 Top1 87.8% 性能！
一个挑战 ViT，MLP-Mixer 的新模型 ConvMixer：Patches Are All You Need? [Under Review ICLR 2022]
u014546828的博客
10-09 2608
Convolutions Attention MLPs Patches are All Your Need? [OpenReview] [GitHub​​​​​​​] 本文看点： 1. 本文原文非常短，只有 4 页多一点，整个模型也很简单，但它 挑战了 ViT 有效性的原因。 2. 总结了最近特别火的 ViT，MLP-Mixer，ResMLP 等新构架之所以效果很好的共性。 特斯拉 AI 高级总监 Andrej Karpathy 在推特上感叹道：我被新的 ConvMixer 架构震撼了。【（包括下
MLP-Mixer: An all-MLP Architecture for Vision
garbage回收中心
09-14 1869
用于视觉的全 MLP 架构
时间序列预测模型实战案例(七)(TPA-LSTM)结合TPA注意力机制的LSTM实现多元预测
Snu77的博客
11-05 7961
本文通过实战案例讲解TPA-LSTM实现多元时间序列预测，在本文中所提到的TPA和LSTM分别是注意力机制和深度学习模型,通过将其结合到一起实现时间序列的预测，本文利用有关油温的数据集来进行训练模型，同时将模型保存到本地，进行加载实现多步长预测，本文所利用的数据集也可以替换成你个人的数据集来进行预测(修改个人的数据集的地方本文也进行了标注)，同时本文会对TPA和LSTM分别进行概念的讲解帮助大家理解其中的运行机制原理(包括个人总结已经论文内容)。
浅谈 Mlp-Mixer（pytorch and keras）
__不想写代码__的博客
07-11 4054
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码
MTS-Mixers
09-05
MTS-Mixers是一种用于多元时间序列预测的官方实现。它通过因子化时间和通道混合的方式进行预测。使用MTS-Mixers需要安装Python版本不低于3.6和PyTorch版本不低于1.5.0，并运行pip install -r requirements.txt来安装所需的依赖。然后，下载数据并将其转换为.csv格式。 MTS-Mixers的设计灵感来自于Transformer模型，这种模型在捕获长期依赖性方面表现出色，并且近期取得了很大的进展。然而，作者发现Attention机制存在一些问题，比如对于时间相关性的捕获并不是必要的，以及时间和通道之间的交互作用会影响预测性能。为了解决这些问题，MTS-Mixers提出了使用两个因子化模块来捕获时间和信道相关性的方法。通过在多个真实数据集上进行实验，MTS-Mixers的效果优于现有基于Transformer的模型。 多元时间序列在时间维度和通道维度上都存在较强的冗余性。这意味着大多数多元时间序列可以用较少的数据表示出近似完整的原始矩阵。基于这个性质，可以简化多元时间序列的建模过程。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [基于PyTorch的MTS-Mixers代码](https://download.youkuaiyun.com/download/weixin_46163097/87686381)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [【论文阅读】2023 MTS-Mixers](https://blog.youkuaiyun.com/mataolc/article/details/129232940)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值