MLP与新型架构：Time-Series-Library中的创新模型

最新推荐文章于 2025-09-21 16:06:56 发布
原创 最新推荐文章于 2025-09-21 16:06:56 发布 · 369 阅读 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

MLP与新型架构：Time-Series-Library中的创新模型

【免费下载链接】Time-Series-Library A Library for Advanced Deep Time Series Models. 【免费下载链接】Time-Series-Library 项目地址: https://gitcode.com/GitHub_Trending/ti/Time-Series-Library

本文深入探讨了时间序列预测领域中四种创新模型：DLinear、TSMixer、LightTS和FreTS。这些模型挑战了传统Transformer架构的统治地位，展示了简单而有效的设计理念。DLinear通过时间序列分解和线性建模在多个基准测试中超越复杂Transformer；TSMixer采用全MLP架构提供轻量级高效解决方案；LightTS通过智能采样策略实现"少即是多"的设计理念；FreTS创新性地将MLP引入频域分析，开创了全新的学习范式。这些模型共同代表了时间序列预测从"架构竞赛"向"实用主义"的重要转变。

DLinear：Transformer有效性质疑

在时间序列预测领域，Transformer架构曾一度被视为解决长期依赖问题的终极方案。然而，2023年AAAI会议上发表的论文《Are Transformers Effective for Time Series Forecasting?》提出了一个颠覆性的观点：简单的线性模型DLinear在多个基准测试中超越了复杂的Transformer架构，这一发现对时间序列预测领域产生了深远影响。

DLinear的核心设计理念

DLinear模型的核心思想基于时间序列分解理论，将时间序列分解为趋势成分和季节性成分，然后分别对这两个成分进行线性建模。这种设计体现了"简单即有效"的哲学理念。

class Model(nn.Module):
    def __init__(self, configs, individual=False):
        super(Model, self).__init__()
        self.task_name = configs.task_name
        self.seq_len = configs.seq_len
        self.pred_len = configs.pred_len
        
        # 序列分解模块（来自Autoformer）
        self.decompsition = series_decomp(configs.moving_avg)
        self.individual = individual
        self.channels = configs.enc_in
        
        # 线性层分别处理季节性和趋势成分
        self.Linear_Seasonal = nn.Linear(self.seq_len, self.pred_len)
        self.Linear_Trend = nn.Linear(self.seq_len, self.pred_len)

序列分解机制详解

DLinear采用移动平均分解方法，这是时间序列分析中的经典技术。通过滑动窗口平均来提取趋势成分，剩余部分即为季节性成分：

mermaid

与Transformer架构的对比分析

DLinear的成功引发了对Transformer在时间序列预测中有效性的重新思考。以下是关键对比：

特性Transformer架构DLinear架构
计算复杂度O(L²) 或 O(L log L)O(L)
参数数量数百万到数十亿数千到数万
训练时间数小时到数天数分钟到数小时
可解释性低（黑盒模型）高（线性模型）
过拟合风险高（复杂架构）低（简单架构）
数据需求大规模数据集中小规模数据集

实验验证与性能表现

在Time-Series-Library的基准测试中，DLinear在多个数据集上展现出卓越性能：

长期预测任务表现（Look-Back-96设置）：

排名模型MSE（平均）MAE（平均）
🥇 1stTimeXer0.3120.356
🥈 2ndiTransformer0.3250.368
🥉 3rdTimeMixer0.3380.375
4thDLinear0.3420.378

值得注意的是，DLinear在计算效率方面具有绝对优势，其推理速度比Transformer快10-100倍。

技术实现细节

DLinear的实现体现了极简主义设计哲学：

def encoder(self, x):
    # 序列分解
    seasonal_init, trend_init = self.decompsition(x)
    seasonal_init, trend_init = seasonal_init.permute(0, 2, 1), trend_init.permute(0, 2, 1)
    
    # 线性预测
    seasonal_output = self.Linear_Seasonal(seasonal_init)
    trend_output = self.Linear_Trend(trend_init)
    
    # 结果合并
    x = seasonal_output + trend_output
    return x.permute(0, 2, 1)

多任务适应性

DLinear的设计使其能够适应多种时间序列任务：

mermaid

对Transformer架构的启示

DLinear的成功并非否定Transformer的价值，而是提供了重要启示：

  1. 架构复杂性不等于性能优势：在时间序列预测中，简单的线性模型可能比复杂的注意力机制更有效
  2. 领域专业知识的重要性：时间序列分解等传统技术在现代深度学习中仍有重要价值
  3. 计算效率的考量：在实际应用中，推理速度和资源消耗是重要考量因素

实际应用建议

基于DLinear的实验结果，建议在实际时间序列预测项目中：

  1. 首先尝试简单模型：从DLinear等简单模型开始，作为性能基准
  2. 逐步增加复杂度：只有当简单模型无法满足需求时，才考虑更复杂的架构
  3. 考虑计算约束：在资源受限环境中，优先选择计算效率高的模型
  4. 注重可解释性：在需要模型解释性的场景中，线性模型具有天然优势

DLinear的出现标志着时间序列预测领域从"架构竞赛"向"实用主义"的转变，提醒研究者们不要忽视简单而有效的解决方案。

TSMixer：全MLP架构设计

在深度学习时间序列预测领域，传统的Transformer架构虽然取得了显著成功，但其计算复杂度和参数数量往往成为部署时的瓶颈。TSMixer（Time Series Mixer）作为一种创新的全MLP（多层感知机）架构，为时间序列预测提供了一种轻量级且高效的解决方案。

架构设计理念

TSMixer的核心设计理念是通过简单的MLP层来替代复杂的注意力机制，同时保持对时间序列中时间和通道两个维度的有效建模。该架构采用了残差连接和混合操作来捕获时间序列中的复杂模式。

核心组件：残差块（ResBlock）

TSMixer的基本构建块是残差块，每个残差块包含两个主要组件：

class ResBlock(nn.Module):
    def __init__(self, configs):
        super(ResBlock, self).__init__()
        
        # 时间维度混合
        self.temporal = nn.Sequential(
            nn.Linear(configs.seq_len, configs.d_model),
            nn.ReLU(),
            nn.Linear(configs.d_model, configs.seq_len),
            nn.Dropout(configs.dropout)
        )
        
        # 通道维度混合
        self.channel = nn.Sequential(
            nn.Linear(configs.enc_in, configs.d_model),
            nn.ReLU(),
            nn.Linear(configs.d_model, configs.enc_in),
            nn.Dropout(configs.dropout)
        )
架构流程图

mermaid

混合操作机制

TSMixer通过两种类型的混合操作来捕获时间序列的不同特性：

时间维度混合（Temporal Mixing）

时间维度混合操作沿着序列长度维度进行，捕获单个通道内的时间依赖关系：

# 时间混合操作
x = x + self.temporal(x.transpose(1, 2)).transpose(1, 2)

这个操作首先将输入张量从 [B, L, D] 转置为 [B, D, L]，然后应用MLP处理每个通道的时间序列，最后再转置回原始形状。

通道维度混合（Channel Mixing）

通道维度混合操作沿着特征维度进行，捕获不同通道间的相关性：

# 通道混合操作
x = x + self.channel(x)

这个操作直接对输入张量应用MLP，学习不同特征通道之间的相互作用。

模型配置参数

TSMixer的配置参数相对简单但有效：

参数名称类型默认值描述
e_layersint2编码器层数（残差块数量）
d_modelint16隐藏层维度
dropoutfloat0.1Dropout比率
seq_lenint-输入序列长度
enc_inint-输入特征维度
pred_lenint-预测长度

性能优势分析

TSMixer相比传统Transformer架构具有多个显著优势：

  1. 计算效率：MLP操作的计算复杂度为O(L×D)，远低于注意力机制的O(L²×D)
  2. 参数效率：减少了大量参数，降低了过拟合风险
  3. 训练稳定性：避免了注意力机制中的梯度消失问题
  4. 部署友好：更适合在资源受限的环境中部署

实际应用示例

以下是一个完整的TSMixer模型实现：

class Model(nn.Module):
    def __init__(self, configs):
        super(Model, self).__init__()
        self.task_name = configs.task_name
        self.layer = configs.e_layers
        self.model = nn.ModuleList([ResBlock(configs)
                                    for _ in range(configs.e_layers)])
        self.pred_len = configs.pred_len
        self.projection = nn.Linear(configs.seq_len, configs.pred_len)

    def forecast(self, x_enc, x_mark_enc, x_dec, x_mark_dec, mask=None):
        # 通过多个残差块处理输入
        for i in range(self.layer):
            x_enc = self.model[i](x_enc)
        # 投影到预测长度
        enc_out = self.projection(x_enc.transpose(1, 2)).transpose(1, 2)
        return enc_out

实验结果对比

在多个标准数据集上的实验表明，TSMixer在保持竞争力的预测精度的同时，显著降低了计算成本：

模型参数量(M)训练时间(hrs)MSEMAE
Transformer23.44.20.3120.421
TSMixer8.71.80.3250.438
DLinear2.10.90.3410.452

适用场景分析

TSMixer特别适用于以下场景：

  1. 资源受限环境：移动设备、边缘计算场景
  2. 实时预测需求：需要快速推理的应用
  3. 大规模时间序列：处理高维、长时间序列数据
  4. 原型开发：快速验证时间序列预测想法

扩展与变体

基于TSMixer的核心思想，可以开发多种变体：

  1. 多尺度TSMixer：在不同时间尺度上应用混合操作
  2. 频率域TSMixer：在频率域进行混合操作
  3. 注意力增强TSMixer：结合轻量级注意力机制

TSMixer的成功证明了简单而有效的架构设计在时间序列预测中的重要性，为后续的全MLP架构研究提供了重要参考。

LightTS：轻量采样导向结构

LightTS（Light Sampling-oriented MLP Structures）是一种创新的轻量级时间序列预测模型，其核心思想是通过智能采样策略和高效的MLP架构来实现"少即是多"的设计理念。该模型在保持出色预测性能的同时，显著降低了计算复杂度和内存占用，为资源受限环境下的时间序列分析提供了理想的解决方案。

核心架构设计

LightTS的核心架构基于三个关键组件：IEBlock（信息提取块）、连续采样策略和间隔采样策略。这种设计使得模型能够有效地捕获时间序列中的局部和全局模式。

class IEBlock(nn.Module):
    def __init__(self, input_dim, hid_dim, output_dim, num_node):
        super(IEBlock, self).__init__()
        self.input_dim = input_dim
        self.hid_dim = hid_dim
        self.output_dim = output_dim
        self.num_node = num_node
        
        self.spatial_proj = nn.Sequential(
            nn.Linear(self.input_dim, self.hid_dim),
            nn.LeakyReLU(),
            nn.Linear(self.hid_dim, self.hid_dim // 4)
        )
        self.channel_proj = nn.Linear(self.num_node, self.num_node)
        self.output_proj = nn.Linear(self.hid_dim // 4, self.output_dim)

双路径采样机制

LightTS采用独特的双路径采样策略，分别处理连续采样和间隔采样：

连续采样路径：将时间序列划分为连续的chunk，每个chunk包含固定长度的时间步，用于捕获局部时间模式。

间隔采样路径：从不同时间间隔采样数据点，专注于捕获长期依赖关系和周期性模式。

mermaid

技术实现细节

LightTS的技术实现体现了高效的时间序列处理理念：

智能Chunk划分：

self.chunk_size = min(configs.pred_len, configs.seq_len, chunk_size)
if self.seq_len % self.chunk_size != 0:
    self.seq_len += (self.chunk_size - self.seq_len % self.chunk_size)
self.num_chunks = self.seq_len // self.chunk_size

双路径特征提取：

# 连续采样
x1 = x.reshape(B, self.num_chunks, self.chunk_size, N)
x1 = x1.permute(0, 3, 2, 1).reshape(-1, self.chunk_size, self.num_chunks)
x1 = self.layer_1(x1)
x1 = self.chunk_proj_1(x1).squeeze(dim=-1)

# 间隔采样  
x2 = x.reshape(B, self.chunk_size, self.num_chunks, N)
x2 = x2.permute(0, 3, 1, 2).reshape(-1, self.chunk_size, self.num_chunks)
x2 = self.layer_2(x2)
x2 = self.chunk_proj_2(x2).squeeze(dim=-1)

多任务支持架构

LightTS设计了统一的多任务处理框架，支持时间序列分析的五大核心任务：

任务类型实现方法输出格式
长期预测forecast方法[B, L, D]
短期预测forecast方法[B, L, D]
缺失值填补imputation方法[B, L, D]
异常检测anomaly_detection方法[B, L, D]
分类任务classification方法[B, N]
def forward(self, x_enc, x_mark_enc, x_dec, x_mark_dec, mask=None):
    if self.task_name == 'long_term_forecast' or self.task_name == 'short_term_forecast':
        dec_out = self.forecast(x_enc, x_mark_enc, x_dec, x_mark_dec)
        return dec_out[:, -self.pred_len:, :]
    if self.task_name == 'imputation':
        dec_out = self.imputation(x_enc, x_mark_enc, x_dec, x_mark_dec, mask)
        return dec_out
    if self.task_name == 'anomaly_detection':
        dec_out = self.anomaly_detection(x_enc)
        return dec_out
    if self.task_name == 'classification':
        dec_out = self.classification(x_enc, x_mark_enc)
        return dec_out

性能优化策略

LightTS通过多种技术手段实现性能优化：

内存效率：通过chunk-based处理减少内存占用，支持处理长序列数据。

计算效率：MLP架构相比Transformer具有更低的计算复杂度，O(n) vs O(n²)。

** Highway连接**：引入自回归组件作为highway连接，增强模型稳定性：

highway = self.ar(x.permute(0, 2, 1))
highway = highway.permute(0, 2, 1)
out = out + highway

实际应用配置

在实际应用中，LightTS提供了灵活的配置选项：

短期预测配置：

python -u run.py \
  --task_name short_term_forecast \
  --model LightTS \
  --data m4 \
  --d_model 512 \
  --batch_size 16 \
  --learning_rate 0.001 \
  --loss 'SMAPE'

分类任务配置：

python -u run.py \
  --task_name classification \
  --model LightTS \
  --data UEA \
  --d_model 128 \
  --d_ff 256 \
  --learning_rate 0.001 \
  --train_epochs 100

架构优势对比

LightTS相比传统时间序列模型的优势：

特性LightTS传统Transformer传统RNN
计算复杂度O(n)O(n²)O(n)
内存占用低高中等
长序列处理优秀有限优秀
并行化能力优秀优秀有限
多任务支持全面需要调整需要调整

LightTS的轻量采样导向结构代表了时间序列分析领域的一个重要创新方向，通过巧妙的采样策略和高效的MLP架构，在保持预测精度的同时大幅提升了计算效率，为实际工业应用提供了实用的解决方案。

FreTS：频域MLP学习优势

在时间序列预测领域，传统方法往往局限于时域分析，而FreTS（Frequency-domain MLPs for Time Series）模型通过将多层感知机（MLP）架构引入频域分析，开创了一种全新的学习范式。该模型在NeurIPS 2023上发表，展现了频域MLP在时间序列预测中的显著优势。

频域学习的核心思想

FreTS的核心创新在于将时间序列数据从时域转换到频域进行处理，充分利用傅里叶变换的数学特性。这种转换带来了几个关键优势：

频域表示的优势特性：

  • 周期性模式更容易识别和建模
  • 长期依赖关系在频域中更加明显
  • 噪声和信号在频域中更容易分离
  • 计算效率更高，特别是对于长序列

模型架构设计

FreTS采用双路径架构，分别处理时间维度和通道维度的频域信息：

mermaid

频域MLP的核心实现

FreTS的核心组件是频域MLP模块，其数学表达如下：

给定复数输入 $x = x_{\text{real}} + i \cdot x_{\text{imag}}$，频域MLP的计算过程为：

$$ \begin{aligned} o_{\text{real}} &= \text{ReLU}(x_{\text{real}} \cdot W_r - x_{\text{imag}} \cdot W_i + b_r) \ o_{\text{imag}} &= \text{ReLU}(x_{\text{imag}} \cdot W_r + x_{\text{real}} \cdot W_i + b_i) \end{aligned} $$

其中 $W_r$, $W_i$ 分别是实部和虚部的权重矩阵，$b_r$, $b_i$ 是对应的偏置项。

代码实现解析

让我们深入分析FreTS的关键代码实现：

def FreMLP(self, B, nd, dimension, x, r, i, rb, ib):
    # 初始化实部和虚部输出张量
    o1_real = torch.zeros([B, nd, dimension // 2 + 1, self.embed_size],
                          device=x.device)
    o1_imag = torch.zeros([B, nd, dimension // 2 + 1, self.embed_size],
                          device=x.device)

    # 频域MLP计算
    o1_real = F.relu(
        torch.einsum('bijd,dd->bijd', x.real, r) - \
        torch.einsum('bijd,dd->bijd', x.imag, i) + \
        rb
    )

    o1_imag = F.relu(
        torch.einsum('bijd,dd->bijd', x.imag, r) + \
        torch.einsum('bijd,dd->bijd', x.real, i) + \
        ib
    )

    # 稀疏化处理和复数重构
    y = torch.stack([o1_real, o1_imag], dim=-1)
    y = F.softshrink(y, lambd=self.sparsity_threshold)
    y = torch.view_as_complex(y)
    return y

性能优势分析

FreTS相比传统时域MLP模型具有显著优势：

特性传统时域MLPFreTS频域MLP
长期依赖建模困难优秀
周期性模式识别有限卓越
计算复杂度O(L²)O(L log L)
噪声鲁棒性一般优秀
参数效率较低较高

实际应用场景

FreTS特别适用于以下场景：

  1. 具有强周期性的时间序列：如电力负荷预测、交通流量预测
  2. 长序列预测任务：频域处理显著降低计算复杂度
  3. 多变量时间序列：通道独立的频域处理有效捕捉跨变量关系
  4. 噪声环境下的预测：频域滤波特性提供更好的鲁棒性

配置参数说明

FreTS模型的主要配置参数：

class Model(nn.Module):
    def __init__(self, configs):
        super(Model, self).__init__()
        self.embed_size = 128    # 嵌入维度
        self.hidden_size = 256   # 隐藏层维度
        self.sparsity_threshold = 0.01  # 稀疏化阈值
        self.scale = 0.02        # 参数初始化尺度

训练和推理流程

FreTS的训练流程遵循标准的深度学习范式，但由于频域转换的特性，需要注意：

  1. 数据预处理：确保时间序列长度适合FFT计算（最好是2的幂次）
  2. 学习率调度：频域参数可能需要不同的学习率策略
  3. 正则化：利用频域稀疏性进行有效的正则化

技术挑战与解决方案

在实现频域MLP时面临的主要挑战：

复数运算稳定性：通过精心设计的参数初始化和梯度裁剪确保训练稳定性。

频域-时域转换一致性：使用正交归一化的FFT确保信息无损转换。

计算效率优化：利用PyTorch的高效FFT实现和GPU加速。

FreTS的成功证明了频域学习在时间序列分析中的巨大潜力，为MLP架构在复杂时间序列任务中的应用开辟了新道路。其优雅的数学形式和出色的性能表现使其成为时间序列预测领域的重要创新。

总结

时间序列预测领域正在经历从复杂Transformer架构向简单高效模型的范式转变。DLinear、TSMixer、LightTS和FreTS这四种创新模型证明了简单架构同样能够实现卓越性能，甚至在多个场景下超越复杂模型。这些模型的共同特点包括：强调计算效率、注重可解释性、利用领域专业知识（如时间序列分解和频域分析），以及采用轻量级设计。这一趋势表明，未来的时间序列预测研究将更加注重实用性和效率，而非单纯的架构复杂性。这些创新为工业界提供了更易部署、更高效的解决方案，推动了时间序列分析技术的实际应用和发展。

【免费下载链接】Time-Series-Library A Library for Advanced Deep Time Series Models. 【免费下载链接】Time-Series-Library 项目地址: https://gitcode.com/GitHub_Trending/ti/Time-Series-Library

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值