创新融合！小波变换+注意力机制，准确率达到了98.73%

当下，小波变换与注意力机制相结合的研究热度爆棚，在多个领域掀起创新浪潮。这里我为大家带来两篇前沿论文的精彩解读。

《An intelligent bearing fault diagnosis framework: one - dimensional improved self - attention - enhanced CNN and empirical wavelet transform》打造出创新的轴承故障诊断框架。它创新性地融合经验小波变换（EWT）与一维改进自注意力增强卷积神经网络（1D - ISACNN）。EWT把原始信号分解为三个频率分量，极大增强特征；1D - ISACNN通过新注意力机制与改进函数搭建新架构，捕捉关键信息，训练时采用标签平滑正则化（LSR）与自适应矩投影（AdamP），优化训练过程。

相比过往成果，这些论文不再局限于传统方式，在特征提取、网络架构与训练机制上都实现突破。这里我准备了12篇相关论文和代码，希望能给大家有所帮助，需要自取喔！

点击【AI十八式】的主页，获取更多优质资源！

【论文1】An intelligent bearing fault diagnosis framework: onedimensional improved self-attention-enhanced CNN and empirical wavelet transform

Structures of optimized 1D-ISACNN

1.研究方法

The flowchart of EWT and 1D-ISACNN

论文提出结合经验小波变换（EWT）和一维改进自注意力增强卷积神经网络（1D-ISACNN）的轴承故障诊断框架。先利用 EWT 将原始信号分解为三个频率分量以增强信号特征，再通过 1D-ISACNN 学习信号关键信息进行分类，同时采用标签平滑正则化（LSR）作为损失函数、自适应矩投影（AdamP）进行参数更新。

2.论文创新点

Accuracy of the 8 different models under the three datasets

1. 信号分解增强特征：运用EWT算法将原始信号分解为三个频率分量，能够进一步提取多频分量，增强信号特征，为后续模型分析提供更丰富信息。

2. 改进网络结构：构建的1D-ISACNN添加新的注意力机制和改进的元激活连接函数Meta-ACON-C，能更好地捕捉和映射信号中的关键信息。

3. 优化损失函数：采用标签平滑正则化（LSR）作为1D-ISACNN的损失函数，兼顾训练样本中正确和错误标记位置的损失，减少模型过拟合，提升泛化能力。

4. 优化梯度更新策略：设计自适应矩投影（AdamP）估计，确保更稳健的梯度更新策略，有效解决稀疏梯度下学习率调整问题，使模型训练更高效，更易达到最优解。

论文链接：https://link.springer.com/content/pdf/10.1007/s11071-024-09389-y.pdf

【论文2】A Wavelet Guided Attention Module for Skin Cancer Classification with Gradient-based Feature Fusion

The proposed classification model utilizes the DenseNet-121 as the backbone for feature extraction.

1.研究方法

在这里插入图片描述

论文提出了利用 DenseNet121 作为特征提取骨干网络，引入对称感知特征注意力（SaFA）模块来提取病变对称性及空间维度特征变化信息。同时，通过基于梯度的特征融合机制，将小波特征和注意力辅助特征进行融合，强化病变边界信息，进而构建皮肤癌分类模型。

2.论文创新点

Confusion matrix and feature representation of the proposed model.

1. 独特注意力机制：提出的SaFA模块能精准定位病变在空间维度和对称性上的特征差异，基于病变对称性、纹理和颜色均匀性等聚焦不同类别间的差异 。

2. 梯度融合策略：采用基于梯度的小波和软注意力辅助特征融合方法，根据特征的归一化反向传播梯度动态分配权重，在不增加参数的情况下优化特征融合，增强病变边界信息提取。

3. 模型性能优势：在高度类别不平衡的HAM10000数据集上进行测试，模型取得了91.17%的F1分数和90.75%的准确率，超越了现有方法。

论文链接：https://arxiv.org/pdf/2406.15128

点击【AI十八式】的主页，获取更多优质资源！

参考链接：https://ieeexplore.ieee.org/document/10372999