频域+注意力双剑合璧，在ICLR25上杀疯了！提供魔改新思路！

最新推荐文章于 2025-06-05 00:26:50 发布

原创最新推荐文章于 2025-06-05 00:26:50 发布 · 1.9k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#论文合集 #频域 #注意力

部署运行你感兴趣的模型镜像

在人工智能与信号处理交叉领域，频域分析与深度学习的深度融合正掀起新一轮研究浪潮。通过将傅里叶变换、小波分析等频域工具与现代神经网络架构（如Transformer、图神经网络）相结合，突破了传统时域建模的局限性，在复杂模式捕捉、噪声鲁棒性和计算效率上展现出显著优势。这一方向的核心在于时频双域协同建模——利用频域分解提取数据内在的周期、趋势及突变特征，同时通过动态权重分配、多频段融合等机制增强模型的适应性与可解释性。

当前，该领域已形成三大研究热点：

一是频域稀疏化表征，通过滤除非关键频段降低计算复杂度并提升泛化能力；

二是跨模态频域对齐，解决多变量、多尺度数据中频段关联的动态建模问题；

三是物理启发的频域先验，将信号处理理论与数据驱动方法结合，增强模型的适用性。

我这边也已经帮同学们整理好了7篇频域+attention方向上的一些前沿文章，不想多花时间找资料的可以直接拿，也欢迎大家分享本文给好友同学~

点击【AI十八式】的主页，获取更多优质资源！

【论文1】SpectFormer: Frequency and Attention is what you need in a Vision Transformer

方法介绍

频谱层（Spectral Layer）：
- 使用快速傅里叶变换（FFT）将图像从物理空间转换到频谱空间。
- 通过可学习的权重参数对不同频率成分进行加权，从而捕捉图像的局部频率特征。
- 使用逆快速傅里叶变换（IFFT）将频谱空间的特征转换回物理空间。
- 频谱层包括层归一化（Layer Normalization）和多层感知器（MLP）块，用于通道混合。
注意力层（Attention Layer）：
- 使用标准的多头自注意力（Multi-Head Self-Attention, MSA）机制，用于捕捉全局语义信息。
- 注意力层包括层归一化和MLP块，用于通道混合和特征增强。
SpectFormer架构：
- 结合频谱层和注意力层，形成一个混合架构。初始层使用频谱层提取局部特征，深层使用注意力层捕捉全局语义信息。
- 通过调整频谱层和注意力层的比例（由超参数α控制），平衡局部特征和全局语义的捕捉能力

创新点

提出频谱层和注意力层结合的混合架构，提升视觉Transformer性能。
频谱层设计捕捉局部频率特征，增强图像细节信息。
灵活调整频谱层和注意力层比例，适应不同任务需求。

论文链接：https://arxiv.org/abs/2304.06446

代码链接：https://github.com/Hazqeel09/ellzaf_ml

【论文2】CATCH: CHANNEL-AWARE MULTIVARIATE TIME SERIES ANOMALY DETECTION VIA FREQUENCY PATCHING

方法介绍

频域分块（Frequency Patching）：
- 将频域划分为多个频段（frequency bands），每个频段包含特定频率范围的信息。
- 通过FFT将时间序列转换到频域，并对每个频段进行建模，捕捉细粒度的频率特征。
通道融合模块（Channel Fusion Module, CFM）：
- 掩码生成器（Mask Generator）：生成二进制掩码矩阵，用于动态建模不同频段中的通道间相关性。
- 掩码注意力机制（Masked Attention）：通过掩码矩阵对注意力机制进行约束，隔离无关通道的干扰。
- 双层优化算法：通过双层优化算法（ClusteringLoss和RegularLoss）迭代发现合适的通道间相关性，同时增强注意力机制的鲁棒性。
时间-频域重建模块（Time-Frequency Reconstruction Module, TFRM）：
- 使用MLP投影重建频谱特征，并通过IFFT重建时间序列。
- 在时间和频域中分别计算重建误差，作为异常分数。
异常评分：
- 结合时间和频域的重建误差，计算每个时间点的异常分数。
- 通过加权求和时间和频域的异常分数，得到最终的异常分数。

创新点

频域分块建模：
- 提出了一种将频域划分为多个频段的方法，能够捕捉时间序列的细粒度频率特征。
- 通过频域分块建模，提升了对不同频率范围内异常特征的检测能力。
通道融合模块（CFM）：
- 提出了一种动态建模通道间相关性的方法，通过掩码生成器和掩码注意力机制隔离无关通道的干扰。
- CFM通过双层优化算法（ClusteringLoss和RegularLoss）迭代优化通道间相关性，增强了模型的鲁棒性和容量。
双域异常评分：
- 提出了一种结合时间和频域异常分数的评分方法，能够更准确地捕捉点异常和子序列异常。
- 通过加权求和时间和频域的异常分数，提高了异常检测的精度和鲁棒性。
广泛的实验验证：
- 在10个真实世界数据集和12个合成数据集上进行了广泛的实验验证。
- 通过与现有方法的对比，展示了CATCH在检测点异常和子序列异常方面的优越性。