学习笔记：基于小波引导注意力模块和梯度特征融合的皮肤癌分类

本文链接：https://blog.youkuaiyun.com/qq_52635735/article/details/145992248

1、研究背景及意义

1）皮肤癌的诊断难点：皮肤癌具有较高的致命率，早期诊断对治疗至关重要。但传统诊断方法（如皮肤镜检查和皮肤活检）存在依赖专家经验或对患者存在创伤性等问题。

2）计算机辅助系统（CAD）的必要性：利用深度学习构建CAD系统可以提升诊断的精度和效率，但由于皮肤病变在外观上存在类间相似性和类内差异性，现有技术的性能表现并不能让人满意，所以如何准确提取和区分有用特征成为关键挑战。

论文地址：A Wavelet Guided Attention Module for Skin Cancer Classification with Gradient-Based Feature Fusion | IEEE Conference Publication | IEEE Xplore

2、论文的主要贡献

1）基于梯度的特征融合：提出了一种基于梯度的特征融合方法，利用哈尔小波变换提取边缘信息和软注意力特征在全局范围突出特征的优势，通过反向传播得到的梯度信息对小波特征与软注意力特征进行动态加权融合，从而提高了性能。

2）对称感知特征注意力模块（SaFA）：SaFA模块通过LSTM捕捉空间特征变化，结合对称性量化操作，动态生成注意力权重，使模型更精准地聚焦于皮肤病变的关键病理特征（如不规则边界、颜色异变）。这一设计在提升分类性能的同时，保持了参数效率，适用于处理类间相似性高的医学图像任务。

图1 所提出的分类模型采用 DenseNet-121 作为特征提取的骨干网络。提取的特征F_enc经过软注意力机制和 SaFA 模块处理。基于梯度的融合方法将小波特征和注意力辅助特征相结合，强化了病变的边界信息

3、方法与技术细节

3.1 特征提取

骨干网络：采用DenseNet-121作为基础网络，从皮肤病变图像中提取深层次特征（ $F_{enc}$ ），为后续处理提供高质量表示。

3.2 基于梯度的特征融合

小波变换提取边界特征：利用哈尔小波变换将 $F_{enc}$ 转换为包含病变边界信息的特征 $F_{w}$ 。

梯度信息的引入：利用反向传播获得 $F_{w}$ 与软注意力特征 $F_{sa}$ 的梯度 g( $F_{w}$ ) 和 g( $F_{sa}$ )，并利用下式进行融合：

$F_{fuse} = (1-g(F_{w}))\times F_{w} + (1-g(F_{sa}))\times F_{sa}$

该公式的作用是通过反向传播的梯度动态调整小波特征（ $F_{w}$ ）和软注意力特征（ $F_{sa}$ ）的融合权重，以优化特征融合过程，这样做的优势有以下三点：

1、梯度越大，表明对应特征对模型性能的负面影响越强，因此通过 $1-g(\cdot )$ 赋予其更低的权重；反之则赋予更高权重。这种机制能够动态地进行权重分配，自动抑制对分类有害的特征，强化有益特征。

2、小波特征 $F_{w}$ 通过哈尔小波变换提取了病变的边界信息，而软注意力特征 $F_{sa}$ 聚焦于关键区域。梯度融合使模型更关注边界和语义显著区域的互补信息，从而提升分类精度。

3、梯度权重直接来源于模型训练过程，无需额外引入可学习的参数，避免了复杂设计，同时保持了模型的轻量化。

（ps：软注意力是什么？

软注意力（Soft Attention）是一种注意力机制，它会对输入特征图的所有部分赋予不同的权重，从而在全局范围内突出关键区域，同时保留整体信息。这种方法不同于硬注意力（Hard Attention），后者是基于采样的方式，只关注特定区域，而软注意力是可微分的，因此可以通过反向传播进行端到端训练。

在深度学习的视觉任务中，软注意力通常通过加权特征图的方式，自动调整模型对不同区域的关注程度，使得关键特征更容易被识别，从而提升分类或检测的性能。）

3.3 对称感知特征注意力模块（SaFA）

SaFA由两个关键子模块构成：

特征差异感知块（FDaB）：捕捉特征在空间维度（高度和宽度）上的变化。

对称感知块（SaB）：量化病变区域的对称性特征。

3.3.1 特征差异感知块(FDaB)

输入：编码特征 $F_{enc }$ ，维度为 $H\times W\times C$ 。

过程步骤：

1、分离卷积压缩

使用三个可分离卷积层（滤波器数分别为256、64、1）将特征图压缩至单通道（ $H\times W\times 1$ ）。

2、空间维度分解

将压缩后的特征图分别重塑为尺寸为 $H\times W$ 和 $W\times H$ 的特征图：

$F_{h }$ （维度 $H\times W$ ）：沿高度方向展开。

$F_{w }$ （维度 $W\times H$ ）：沿宽度方向展开。

3、LSTM保留时间依赖

将 $F_{h }$ 输入LSTM网络，以 $W$ 作为时间步长，捕捉沿宽度方向的特征变化。

将 $F_{w }$ 输入LSTM网络，以 $H$ 作为时间步长，捕捉沿高度方向的特征变化。

4、特征融合

LSTM的输出被重塑为 $H\times W\times 1$ 的特征图 $F_{hLSTM}$ 和 $F_{wLSTM}$ ，二者相加生成 $F_{LSTM}$ 。

3.3.2 对称感知块（SaB）

输入： $F_{LSTM}$ (维度 $H\times W\times 1$ )

过程步骤：

1、对称性计算

通过矩阵转置和像素级相似性操作量化对称性：

$F_{symmetry} = F_{LSTM} \bigotimes F^{T}_{LSTM}$

其中， $\bigotimes$ 表示像素级相似性计算（如余弦相似度或点积），用于衡量特征图与其转置的对称程度。

2、注意力图生成

对 $F_{symmetry}$ 进行可分离卷积（滤波器数256→64→1）。

通过Sigmoid激活函数生成注意力权重图 $F_{attn }$ （维度 $H\times W\times 1$ ）。

作用：

对称性操作（ $\bigotimes$ ）可识别病变区域在水平和垂直方向上的对称性差异（如不规则形状或不对称颜色分布）。

注意力图 $F_{attn }$ 突出显示与分类相关的关键区域（如边界、不对称部分）。

4、实验结果

4.1 实验数据集

数据集：文章使用 HAM10000 数据集对模型进行了训练和评估。

图片和类别：该数据集包含 10015 张常见和罕见皮肤病变的皮肤镜图像，总共分为七类皮肤病变，分别为光化性角化病和上皮内癌/鲍温病（akiec）、基底细胞癌（bcc）、良性角化病样病变（bkl）、皮肤纤维瘤（df）、黑色素瘤（mel）、黑素细胞痣（nv）以及血管病变（vasc）。由于各类样本数存在较大差异，数据集呈现高度不平衡的特点。

数据增强与划分：选取了 1103 张用于测试，对剩余的 8912 张原始图像进行了数据增强，得到了 52000 张图像，并将其中 70% 的增强图像用于训练，30% 用于验证。

4.2 消融实验

先后测试了三种配置：

（1）DenseNet-121 + Soft Attention；

（2）在（1）的基础上加入梯度基特征融合；

（3）在（2）的基础上进一步引入SaFA模块。

随着各模块的逐步加入，模型的性能显著提升，最终模型在HAM10000数据集上达到：

准确率：90.75%

F1-score：91.17%

4.3 对比试验

与现有多种方法相比，所提出的模型在准确率和F1-score上均有明显优势，表明该方法在处理类间相似性和类内差异性方面效果显著。

5、总结

论文通过结合小波变换、基于梯度的特征融合和专门设计的SaFA模块，有效地提取了皮肤病变图像的边界与对称性信息，同时捕捉到了图像的语义变化，这对于解决皮肤癌分类中的细微差异问题具有重要意义。该方法为提高皮肤癌的自动诊断精度提供了一条新思路，并为未来如何利用多尺度、多模态特征融合来处理医学图像问题提供了理论和实践依据。论文提到未来需要进一步提升对少数类（如黑色素瘤）的召回率，同时尝试将方法推广至其他医学影像领域，并探索如何将模型轻量化以便实际部署。

通过学习这篇论文，可以体会到在医学影像分类中如何综合利用传统信号处理方法（如小波变换）与现代深度学习注意力机制，从而更有效地提取和融合图像特征，为复杂的分类任务提供更准确的解决方案。