准确率近100%！注意力机制+多尺度卷积横扫SOTA！

多尺度卷积通过并行卷积核组与特征金字塔架构，可同步捕获微米级纹理与宏观结构变化，具有层级化的特征抽象能力。而注意力机制实现了噪声抑制与关键信号聚焦的精准平衡，可以作为高维特征空间的动态信息过滤器。

当前，许多研究正致力于二者的协同创新。多尺度卷积先提供丰富的特征信息，注意力机制再从中筛选出关键信息，这样结合起来，不仅可以进一步提高模型的识别精度和效率，显著提升模型性能，还可以增强模型的可解释性。

例如新型CNN架构MPARN，通过引入注意力机制，实现了最高99.49%的故障诊断准确率。未来研究或将突破超异构计算架构下的软硬件协同优化瓶颈，开辟神经形态芯片上的多尺度注意力融合新范式。

本文精选了13篇注意力机制+多尺度卷积相关的最新前沿研究，供大家学习与参考，同学们有需要可以自取~

点击【AI十八式】的主页，获取更多优质资源！

一、MPTSNet: Integrating Multiscale Periodic Local Patterns and Global Dependencies for Multivariate Time Series Classification

1. 方法

本文提出了一种新颖的多尺度周期时间序列网络（MPTSNet），该网络集成了多尺度局部模式和全局相关性，旨在充分利用时间序列中的固有信息。通过傅里叶变换提取主要周期，MPTSNet能够将数据分解为多尺度周期段。MPTSNet的核心组件是周期块，它结合了基于卷积神经网络（CNN）和注意力机制的局部提取器和全局捕获器，能够自适应地捕捉局部模式和全局依赖性，并通过不同周期尺度的注意力集成提供更好的可解释性。

在UEA基准数据集上的实验表明，MPTSNet在MTSC任务中超越了21个现有的先进基线，展示了其在处理复杂多变量时间序列数据方面的有效性。

2. 创新点

1）多尺度周期分解 提出通过傅里叶变换提取时间序列的主周期，并基于此将数据分解为多尺度周期段。不同于传统方法仅依赖固定窗口或单一周期，这种分解方式更贴合实际数据的周期性特征，能够自适应捕捉不同时间尺度下的局部模式。

2）周期块架构 首次将CNN的局部特征提取能力与注意力机制的全局依赖建模能力结合在一个模块中，形成“局部提取器”和“全局捕获器”的双路径结构。通过注意力权重动态调整不同时间尺度的特征重要性，避免人工设计特征的局限性。

3）多尺度注意力集成机制 在多个周期尺度上分别建模，并通过注意力机制融合不同尺度的特征，而非简单拼接或平均池化，既能捕捉细粒度局部模式，又能建模长周期趋势，提升分类鲁棒性。

论文链接：[2503.05582] MPTSNet: Integrating Multiscale Periodic Local Patterns and Global Dependencies for Multivariate Time Series Classification

二、SmokeNet: Efficient Smoke Segmentation Leveraging Multiscale Convolutions and Multiview Attention Mechanisms

1.方法

本文介绍了一种新颖的深度学习架构——SmokeNet，利用多尺度卷积和多视角线性注意机制，结合层特定损失函数，以处理多样烟雾的复杂动态，确保在不同环境中的高效和准确分割。

通过在四个数据集上的评估，包括新发布的采石场烟雾数据集，结果表明SmokeNet在计算效率和分割准确性之间保持良好的平衡，适合用于环境监测和安全管理系统。

2. 创新点

1）多尺度与多视角注意力融合的架构 将多尺度卷积与多视角线性注意机制结合，突破传统分割模型单一尺度或单一注意力模式的限制。多尺度卷积通过不同感受野的并行卷积分支，捕捉烟雾的局部细节和全局形态；多视角线性注意力在通道、空间和时序维度分别建模关联性，增强对烟雾动态变化的适应性。

2）层特定损失函数

针对网络不同层级（如浅层边缘、深层语义）设计差异化的损失函数，而非统一监督。浅层网络采用加权IoU损失，强化边缘区域的定位精度；深层网络引入多尺度结构相似性损失（MS-SSIM），优化烟雾区域的纹理连续性，避免了单一损失函数导致的分割结果边缘模糊或语义割裂问题。

论文链接：https://arxiv.org/abs/2502.12258

点击【AI十八式】的主页，获取更多优质资源！