只用注意力机制发文没有创新点，小波变换助力文章登顶nature！

小波变换作为一种高效的信号分析工具，擅长捕捉信号的局部特征与多尺度信息，在处理非平稳信号方面具有显著优势。然而，在某些复杂场景下，它可能难以有效识别数据中的关键区域或重要模式。

将注意力机制引入小波分析框架，能够弥补这一不足。注意力机制赋予模型动态识别和聚焦关键特征的能力，使系统在面对复杂数据时更具灵活性与解释性。通过融合小波变换的多分辨率分析能力和注意力机制的选择性聚焦特性，可以更全面地挖掘数据中蕴含的深层信息。

这种创新性的结合不仅提升了模型在特征提取、噪声抑制和信息重构方面的性能，也在图像处理、语音识别、医学信号分析、目标检测、图像分割及时间序列预测等多个领域展现出广泛的应用潜力与研究价值。

为帮助大家更好地掌握这一前沿方向，我整理了一份精选文献合集，汇聚近年来关于小波变换与注意力机制融合的代表性研究成果，助力你的科研探索更加深入、高效、富有创新力！

点击【AI十八式】的主页，获取更多优质资源！

【论文1】An intelligent bearing fault diagnosis framework: onedimensional improved self-attention-enhanced CNN and empirical wavelet transform

Structures of optimized 1D-ISACNN

方法

The flowchart of EWT and 1D-ISACNN

论文提出结合经验小波变换（EWT）和一维改进自注意力增强卷积神经网络（1D-ISACNN）的轴承故障诊断框架。先利用 EWT 将原始信号分解为三个频率分量以增强信号特征，再通过 1D-ISACNN 学习信号关键信息进行分类，同时采用标签平滑正则化（LSR）作为损失函数、自适应矩投影（AdamP）进行参数更新。

创新点

Accuracy of the 8 different models under the three datasets

1. 信号分解增强特征：运用EWT算法将原始信号分解为三个频率分量，能够进一步提取多频分量，增强信号特征，为后续模型分析提供更丰富信息。

2. 改进网络结构：构建的1D-ISACNN添加新的注意力机制和改进的元激活连接函数Meta-ACON-C，能更好地捕捉和映射信号中的关键信息。

3. 优化损失函数：采用标签平滑正则化（LSR）作为1D-ISACNN的损失函数，兼顾训练样本中正确和错误标记位置的损失，减少模型过拟合，提升泛化能力。

4. 优化梯度更新策略：设计自适应矩投影（AdamP）估计，确保更稳健的梯度更新策略，有效解决稀疏梯度下学习率调整问题，使模型训练更高效，更易达到最优解。

论文链接：https://link.springer.com/content/pdf/10.1007/s11071-024-09389-y.pdf

【论文2】A Wavelet Guided Attention Module for Skin Cancer Classification with Gradient-based Feature Fusion

The proposed classification model utilizes the DenseNet-121 as the backbone for feature extraction.

方法

论文提出了利用 DenseNet121 作为特征提取骨干网络，引入对称感知特征注意力（SaFA）模块来提取病变对称性及空间维度特征变化信息。同时，通过基于梯度的特征融合机制，将小波特征和注意力辅助特征进行融合，强化病变边界信息，进而构建皮肤癌分类模型。

创新点

Confusion matrix and feature representation of the proposed model.

1. 独特注意力机制：提出的SaFA模块能精准定位病变在空间维度和对称性上的特征差异，基于病变对称性、纹理和颜色均匀性等聚焦不同类别间的差异 。

2. 梯度融合策略：采用基于梯度的小波和软注意力辅助特征融合方法，根据特征的归一化反向传播梯度动态分配权重，在不增加参数的情况下优化特征融合，增强病变边界信息提取。

3. 模型性能优势：在高度类别不平衡的HAM10000数据集上进行测试，模型取得了91.17%的F1分数和90.75%的准确率，超越了现有方法。

论文链接：https://arxiv.org/pdf/2406.15128

 

点击【AI十八式】的主页，获取更多优质资源！