基于CNN-Self Attention的多变量时序预测(多输入单输出)附Matlab代码

最新推荐文章于 2025-12-05 17:04:10 发布

原创最新推荐文章于 2025-12-05 17:04:10 发布 · 843 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#cnn #matlab #人工智能

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎 往期回顾关注个人主页：Matlab科研工作室

🍊个人信条：格物致知,完整Matlab代码及仿真咨询内容私信。

🔥 内容介绍

一、引言

在当今数字化时代，多变量时序预测作为一个关键的研究领域，在众多行业中都发挥着举足轻重的作用。无论是金融市场的走势分析，还是交通流量的动态预测，亦或是能源消耗的精准预估，多变量时序预测都为决策制定提供了不可或缺的依据。在金融领域，投资者需要依据股票价格、成交量、市场指数等多变量时序数据来预测股票市场的走势，从而做出明智的投资决策。准确的预测可以帮助投资者抓住投资机会，避免潜在的风险，实现资产的增值。在交通领域，通过分析历史交通流量数据以及天气、节假日、时段等多个相关变量，能够预测未来某时段某路段的交通流量。这对于交通管理部门合理调配交通资源、优化交通信号灯设置、缓解交通拥堵具有重要意义。在能源领域，对电力负荷、能源消耗等多变量的时序预测，有助于能源公司合理安排能源生产和供应，提高能源利用效率，降低能源成本。

传统的多变量时序预测方法，如自回归积分滑动平均模型（ARIMA）、向量自回归模型（VAR）等，在面对简单的数据模式时表现尚可。但随着数据量的急剧增长和数据模式的日益复杂，这些传统方法逐渐显露出其局限性。它们难以有效捕捉数据中的非线性特征和复杂的依赖关系，导致预测精度难以满足实际需求。

近年来，深度学习技术的迅猛发展为多变量时序预测带来了新的契机。卷积神经网络（Convolutional Neural Network，CNN）凭借其强大的局部特征提取能力，在图像识别、语音处理等领域取得了巨大的成功，也逐渐被应用于多变量时序预测任务中。通过卷积操作，CNN 能够自动提取时间序列数据中的局部模式和特征，为后续的预测提供有力支持。然而，CNN 在处理长距离依赖关系时存在一定的局限性，难以捕捉到时间序列中不同时间步之间的长期依赖信息。

自注意力机制（Self - Attention）的出现，为解决长距离依赖问题提供了新的思路。自注意力机制能够让模型在处理序列数据时，动态地计算每个位置与其他位置之间的关联程度，从而捕捉到全局的依赖关系。它打破了传统方法在处理长序列时的局限性，使得模型能够更加关注与当前预测相关的关键信息。

将 CNN 和自注意力机制相结合，形成的 CNN - Self Attention 模型，融合了两者的优势。CNN 负责提取局部特征，自注意力机制专注于捕捉长距离依赖关系，从而为多变量时序预测提供了一种更强大的解决方案。这种组合模型在多个领域的多变量时序预测任务中展现出了卓越的性能，能够更准确地预测未来的趋势和变化，为各行业的决策制定提供更可靠的支持。

二、多变量时序预测基础

2.1 时序数据特点剖析

时序数据，简单来说，就是按照时间顺序排列的数据点序列。它广泛存在于我们生活的各个方面，大到宏观经济数据，如 GDP 的季度增长、通货膨胀率的月度变化；小到个人健康数据，如每天的步数、睡眠时长等。这些数据的一个显著特点就是时间相关性，即当前时刻的数据往往与过去的多个时刻的数据存在紧密联系。以股票价格为例，今天的股票价格并非凭空产生，它很大程度上受到昨天、前天甚至更久之前价格走势的影响。这种时间相关性使得时序数据具有独特的动态特性，也增加了分析和预测的难度。

除了时间相关性，时序数据还常常表现出趋势性。趋势可以是长期的，如随着科技的进步和经济的发展，全球的互联网用户数量呈现出持续增长的长期趋势；也可以是短期的，像某些商品在促销活动期间的销量会出现短期的快速上升趋势。理解和把握这些趋势，对于预测未来的发展方向至关重要。然而，在多变量场景下，时序数据的复杂性急剧增加。多个变量之间可能存在复杂的相互作用和依赖关系，它们的变化趋势可能相互影响、相互制约。例如在电力系统中，用电量不仅与时间、季节有关，还与气温、湿度、工业生产活动等多个变量密切相关。气温升高时，居民和企业对空调等制冷设备的使用增加，导致用电量上升；工业生产活动的繁忙程度也直接影响着电力消耗。这些变量之间的复杂关系交织在一起，形成了一个错综复杂的数据网络，给多变量时序数据的分析和预测带来了巨大的挑战。

2.2 多变量时序预测定义与流程

多变量时序预测，就是基于多个相关变量的历史时间序列数据，对未来某个或多个变量的取值进行预测的过程。与单变量时序预测不同，它不仅仅关注单个变量自身的历史变化，更注重多个变量之间的相互关系和协同变化对未来的影响。

其基本流程一般包含以下几个关键步骤：首先是数据收集，这一步需要广泛收集与预测目标相关的各种变量的时间序列数据。例如在进行城市交通流量预测时，不仅要收集历史交通流量数据，还要收集天气数据、节假日信息、城市重大活动安排等相关数据。这些数据的来源可能多种多样，包括传感器监测数据、数据库记录、网络爬虫获取的数据等。接下来是数据预处理，由于原始数据中往往存在缺失值、异常值，以及不同变量数据的量纲和尺度差异等问题，需要对数据进行清洗、填补缺失值、去除异常值、标准化或归一化等处理，以提高数据的质量和可用性，为后续的模型训练打下良好的基础。

然后是模型选择与训练，根据数据的特点和预测任务的需求，选择合适的预测模型。如前文提到的传统的 ARIMA、VAR 模型，以及近年来发展迅速的基于深度学习的 CNN、LSTM、Transformer 等模型。选择好模型后，使用预处理后的数据对模型进行训练，通过调整模型的参数，使模型能够尽可能准确地学习到数据中的规律和模式。最后是预测与评估，利用训练好的模型对未来的变量值进行预测，并使用各种评估指标，如均方误差（MSE）、平均绝对误差（MAE）、平均绝对百分比误差（MAPE）等，对预测结果的准确性进行评估。根据评估结果，还可以进一步对模型进行优化和改进，以提高预测的精度。

2.3 应用场景大赏

多变量时序预测在众多领域都有着广泛而重要的应用。在经济领域，宏观经济预测是一个关键应用方向。经济学家们通过分析 GDP、通货膨胀率、失业率、利率、消费、投资等多个经济变量的时间序列数据，构建复杂的预测模型，以预测未来的经济增长趋势、通货膨胀水平等。这些预测结果为政府制定财政政策、货币政策，企业制定投资策略、生产计划等提供了重要的决策依据。例如，政府可以根据经济增长预测结果，适时调整财政支出和税收政策，以促进经济的稳定增长；企业可以根据通货膨胀预测结果，合理调整产品价格和成本控制策略，以保持市场竞争力。

在金融领域，多变量时序预测同样发挥着不可或缺的作用。股票市场的走势受到众多因素的影响，包括股票价格、成交量、市场指数、宏观经济指标、公司财务报表数据、行业动态等。通过对这些多变量的时序数据进行深入分析和预测，投资者可以更好地把握股票市场的波动趋势，制定合理的投资策略，如买入、卖出或持有股票的时机选择，投资组合的优化配置等，从而实现资产的增值和风险的控制。除了股票市场，在外汇市场、期货市场、债券市场等金融领域，多变量时序预测也被广泛应用于汇率预测、期货价格预测、债券收益率预测等方面。

在交通领域，交通流量预测是多变量时序预测的一个典型应用场景。城市交通系统是一个复杂的动态系统，交通流量受到多种因素的影响，如时间（工作日 / 周末、早晚高峰、不同时段）、天气（晴天、雨天、雪天）、节假日、交通事故、道路施工、公共交通运营情况等。通过收集和分析这些相关变量的历史时间序列数据，建立交通流量预测模型，可以提前预测未来某时段某路段的交通流量。交通管理部门可以根据预测结果，合理调配交通资源，如优化交通信号灯的配时方案，增加或减少某些路段的交通警力部署，及时发布交通拥堵预警信息，引导市民合理选择出行路线，从而有效缓解交通拥堵，提高城市交通运行效率，减少交通延误和能源消耗，提升市民的出行体验。

三、CNN 与 Self - Attention 机制深度解析

3.1 CNN：局部特征提取大师

卷积神经网络（Convolutional Neural Network，CNN），作为深度学习领域的明星模型，最初是为了处理图像数据而精心设计的。其独特的架构灵感来源于生物视觉系统的工作原理，就像是模仿人类视觉神经元对局部图像区域的感知方式构建而成。经过多年的发展和优化，CNN 在图像识别、目标检测、语义分割等计算机视觉任务中取得了令人瞩目的成就，成为了这些领域的主流技术之一。

CNN 的核心组件主要包括卷积层、池化层和全连接层。卷积层是整个网络的核心部分，它由多个卷积核（也称为滤波器）组成。这些卷积核就像是一个个敏锐的探测器，负责在输入数据上滑动，对局部区域进行细致的扫描和特征提取。在处理图像时，卷积核会与图像的局部区域进行点积运算，通过这种方式，能够有效地捕捉到图像中的边缘、纹理、形状等各种局部特征。不同大小和参数的卷积核可以检测出不同类型和尺度的特征，例如小的卷积核可能更擅长捕捉细节特征，而大的卷积核则更适合提取宏观的结构特征。通过在卷积层中堆叠多个不同的卷积核，CNN 可以学习到丰富多样的局部特征表示。

池化层紧跟在卷积层之后，它的主要作用是对卷积层输出的特征图进行降维处理。具体来说，池化操作通过在特征图上滑动一个固定大小的窗口，对窗口内的元素进行某种聚合运算，如最大池化（选择窗口内的最大值）或平均池化（计算窗口内元素的平均值）。这样可以有效地减少特征图的尺寸，降低模型的计算复杂度和参数数量，同时还能在一定程度上提高模型的鲁棒性，减少过拟合的风险。池化操作在保留关键特征的同时，丢弃了一些相对不重要的细节信息，使得模型能够更加关注数据的主要特征和趋势。

全连接层则位于网络的最后部分，它的任务是将池化层输出的特征图进行扁平化处理，然后将其连接到一系列的全连接神经元上。这些神经元通过权重和激活函数对输入的特征进行进一步的加工和整合，最终输出模型的预测结果。全连接层可以看作是一个传统的多层感知机，它能够学习到特征之间的复杂非线性关系，从而实现对数据的分类、回归等任务。

当 CNN 应用于多变量时序预测时，其强大的局部特征提取能力同样发挥着重要作用。将时间序列数据看作是一种特殊的 “序列图像”，时间维度对应图像的宽度，变量维度对应图像的高度。CNN 的卷积核可以在时间和变量维度上滑动，捕捉到不同时间步和不同变量之间的局部依赖关系。在电力负荷预测中，通过卷积操作可以提取出一天中不同时段的用电模式、一周内工作日和周末的用电差异等局部特征。这些局部特征为后续的预测提供了重要的信息基础，帮助模型更好地理解数据的内在规律和模式。

3.2 Self - Attention：全局依赖捕捉神器

自注意力机制（Self - Attention），作为一种强大的深度学习技术，近年来在自然语言处理、计算机视觉等多个领域得到了广泛的应用和深入的研究。它最初是在 Transformer 模型中被提出，旨在解决传统循环神经网络（RNN）在处理长序列数据时存在的效率低下和难以捕捉长距离依赖关系的问题。

Self - Attention 机制的核心思想是让模型在处理序列数据时，能够动态地计算每个位置与其他所有位置之间的关联程度，从而根据这些关联程度为每个位置分配不同的注意力权重。通过这种方式，模型可以更加关注与当前位置相关的重要信息，而忽略那些相对不重要的信息，进而有效地捕捉到序列中的全局依赖关系。

其计算过程主要包含以下几个关键步骤：首先，对于输入序列中的每个元素，通过线性变换（即乘以不同的权重矩阵）得到三个向量，分别是 Query（查询）向量、Key（键）向量和 Value（值）向量。Query 向量代表当前元素想要获取的信息，Key 向量用于表示其他元素的特征，Value 向量则包含了其他元素的实际内容信息。

以处理文本序列为例，假设输入序列为 “我喜欢吃苹果”，当模型处理到 “吃” 这个位置时，“吃” 对应的 Query 向量会去与序列中其他位置（“我”“喜欢”“苹果”）的 Key 向量进行相似度计算，这里通常使用点积运算来衡量它们之间的相似度。计算得到的相似度分数反映了 “吃” 与其他位置之间的关联程度，分数越高，表示关联越紧密。比如，“吃” 与 “苹果” 的相似度分数可能会比较高，因为在语义上它们经常一起出现，存在很强的关联。

接下来，将这些相似度分数通过 Softmax 函数进行归一化处理，得到的结果就是注意力权重。Softmax 函数的作用是将分数转换为概率分布，使得所有位置的注意力权重之和为 1。这样，注意力权重就可以表示每个位置对于当前位置的重要性程度。在上述例子中，经过 Softmax 处理后，“苹果” 对应的注意力权重可能会相对较高，表明在处理 “吃” 这个位置时，“苹果” 这个信息对它来说更为重要。

最后，根据计算得到的注意力权重，对所有位置的 Value 向量进行加权求和，得到的结果就是当前位置经过自注意力机制处理后的输出。这个输出融合了序列中所有位置的信息，并且根据注意力权重的分配，重点突出了与当前位置相关的关键信息。通过这种方式，Self - Attention 机制使得模型能够有效地捕捉到序列中的全局依赖关系，例如在理解 “苹果” 这个词时，模型可以通过自注意力机制获取到前文 “吃” 的信息，从而更准确地理解其语义。

在多变量时序预测中，Self - Attention 机制同样展现出了卓越的性能。它能够让模型充分考虑到不同时间步和不同变量之间的复杂依赖关系，无论是短期的局部依赖，还是长期的全局依赖，都能被有效地捕捉到。在股票市场预测中，Self - Attention 机制可以让模型同时关注到股票价格在过去多个时间步的变化情况，以及成交量、市场指数等多个变量之间的相互影响，从而更全面、准确地预测股票价格的未来走势。

3.3 CNN 与 Self - Attention 强强联合

CNN 和 Self - Attention 机制各自具有独特的优势，将它们有机地结合起来，可以形成一种更强大的模型，充分发挥两者的长处，弥补彼此的不足。

CNN 在提取局部特征方面表现出色，它能够通过卷积操作有效地捕捉到数据中的局部模式和特征，这些局部特征对于理解数据的细节和短期变化趋势非常重要。在多变量时序数据中，CNN 可以快速识别出某个时间段内多个变量之间的局部依赖关系，如电力负荷在一天内不同时段的变化规律。然而，CNN 在处理长距离依赖关系时存在一定的局限性，随着时间步的增加，它很难捕捉到不同时间步之间的长期依赖信息。

Self - Attention 机制则恰好相反，它擅长捕捉全局依赖关系，能够让模型在处理序列数据时，动态地关注到所有位置的信息，从而有效地捕捉到长距离的依赖关系。在多变量时序预测中，Self - Attention 机制可以让模型考虑到过去所有时间步的信息，以及不同变量之间的复杂交互关系，从而对未来的趋势做出更准确的预测。但是，Self - Attention 机制在局部特征提取方面相对较弱，它可能会忽略一些细节信息。

将 CNN 和 Self - Attention 相结合，在模型中协同工作，可以实现优势互补。一种常见的结合方式是先使用 CNN 对多变量时序数据进行初步的特征提取，利用 CNN 的卷积层和池化层快速提取数据中的局部特征，得到一个初步的特征表示。然后，将这个特征表示输入到 Self - Attention 模块中，让 Self - Attention 机制对这些局部特征进行进一步的处理，捕捉它们之间的全局依赖关系。在交通流量预测模型中，首先通过 CNN 提取不同路段在短时间内的交通流量变化特征，如某个小时内不同路口的车流量变化情况；然后，利用 Self - Attention 机制对这些局部特征进行整合，考虑到不同路段、不同时间段之间的全局依赖关系，从而更准确地预测未来的交通流量。

这种结合方式不仅能够提高模型对局部特征的提取能力，还能增强模型对全局依赖关系的捕捉能力，使得模型在多变量时序预测任务中能够更全面、准确地理解数据的内在规律，从而提升预测的精度和可靠性。

四、基于 CNN - Self Attention 的多变量时序预测模型构建

4.1 模型架构总览

基于 CNN - Self Attention 的多变量时序预测模型是一个精心设计的复合架构，它巧妙地融合了卷积神经网络（CNN）和自注意力机制（Self - Attention）的优势，旨在高效地处理多变量时序数据，实现精准的预测。

模型的输入层接收多变量时序数据，这些数据以时间步为行，变量为列的矩阵形式组织。假设输入数据的时间步长为 T，变量数量为 N，那么输入数据的维度为 (T, N)。例如，在电力负荷预测中，时间步可以是每小时，T 为一天的 24 个小时；变量可以包括不同区域的电力负荷、气温、湿度等，N 为这些变量的总数。

数据首先进入 CNN 模块。CNN 模块由多个卷积层和池化层交替组成。卷积层中的卷积核在时间和变量维度上滑动，对局部区域进行卷积操作，提取数据的局部特征。每个卷积层后紧跟一个激活函数，如 ReLU 函数，用于引入非线性，增强模型的表达能力。池化层则对卷积层输出的特征图进行降维处理，减少计算量。经过 CNN 模块的处理，数据的局部特征被充分提取，得到一个低维的特征表示，其维度通常为 (T', N')，其中 T' 和 N' 是经过卷积和池化操作后的时间步长和变量维度。

接着，CNN 模块输出的特征图进入 Self - Attention 模块。Self - Attention 模块通过计算每个位置与其他所有位置之间的注意力权重，捕捉特征图中的全局依赖关系。它为每个位置分配不同的注意力权重，使得模型能够更加关注与当前预测相关的重要信息。Self - Attention 模块输出的是经过全局依赖学习后的特征表示，其维度与输入维度相同，仍为 (T', N')。

最后，Self - Attention 模块的输出经过全连接层进行进一步的处理和整合。全连接层将特征图展平，并通过一系列的神经元对其进行加权求和和非线性变换，最终输出预测结果。预测结果的维度根据具体的预测任务而定，在多输入单输出的情况下，输出维度为 1，表示对未来某一时刻目标变量的预测值。

为了更直观地理解模型架构，下面展示基于 CNN - Self Attention 的多变量时序预测模型架构图：

[此处插入模型架构图]

通过这种架构设计，CNN - Self Attention 模型能够充分利用 CNN 的局部特征提取能力和 Self - Attention 的全局依赖捕捉能力，对多变量时序数据进行深入分析和准确预测。

⛳️ 运行结果

📣 部分代码

🔗 参考文献

[1] Soleymanpour M , Vrat P , Shankar R .A transiently chaotic neural network approach to the design of cellular manufacturing[J].International Journal of Production Research, 2002, 40(10):2225-2244.DOI:10.1080/00207540210122284.