MSCA-Net: Multi-scale contextual attention network for skin lesion segmentation

MSCA-Net: Multi-scale contextual attention network for skin lesion segmentation

MSCA-Net:基于多尺度上下文关注网络的皮肤病变分割

Yongheng Suna。

期刊： Pattern Recognition –一区ToP

摘要：

病灶分割算法自动勾勒医学图像中的病灶区域，便于更有效地识别和评估临床相关特征，提高疗效和诊断准确率。然而，大多数基于全卷积网络的分割方法在降低图像分辨率时存在空间和上下文信息丢失的问题。为了克服这一缺点，本文提出了一种利用图像中多尺度上下文信息的皮肤损伤分割模型，即多尺度上下文注意网络(MSCA-Net)。受U-Net的跳跃连接的启发，我们设计了一个多尺度桥接(MSB)模块，该模块与多尺度特征交互，有效地融合了编解码器路径特征的多尺度上下文信息。我们进一步提出了一个全局-局部通道空间注意模块(GL-CSAM)，旨在捕获全局上下文信息。此外，为了充分利用解码器的多尺度特性，我们提出了一个尺度感知深度监督(SADS)模块来实现分层迭代深度监督。在ISIC 2017、ISIC 2018和PH2公共数据集上的综合实验结果表明，我们的方法优于其他最先进的方法，证明了我们的方法在皮肤病变分割方面的有效性。

皮肤病变介绍：

鉴于皮肤病变的外观和大小变化很大，如图所示，自动分割皮肤病变是具有挑战性的。此外，皮肤镜图像中的病变边界不规则，颜色分布不均匀，不规则。在恶性病变的早期，病变与正常皮肤区域的对比度低，边界模糊。此外，一些其他组织，如头发、血管、气泡伪影使得皮肤损伤的自动分割对计算机系统来说非常具有挑战性。

因此本文提出该多尺度特征融合的方法进行病灶分割

文章贡献：

1)提出了一种新的皮肤病变分割深度学习框架MSCA-Net，有效地捕获和整合多尺度上下文信息，增强多尺度输出，准确分割皮肤病变。

2) MSB模块旨在鼓励从编码器到解码器路径的多尺度特征的良好连接。

3)开发了一个GL-CSAM模块，以全局-局部并行方式应用通道和空间关注来捕获全局上下文信息。

4)我们提出了SADS模块，这是一种分层迭代深度监督方法，它集成了解码器的多尺度特征，以提高最终输出。

编码器解码器结构，注意力机制

M-Net[17]是一个多标签深度网络，它包括一个带有侧输出层的多尺度u形卷积网络，用于学习判别表示并生成预测掩码。U-Net++[18]是重新设计的，包括编码器和解码器之间通过一系列嵌套的、密集的跳过路径的跳过连接。atu - net[8]在U-Net中应用了一种新颖的注意力门来强调突出的特征。

Ibtehazet等人[19]提出了MultiResUNet，它在原始U-Net架构的基础上提供了一些增强。MFSNet[5]在不同阶段应用了两个边界注意模块和两个反向注意模块，得到最终的分割输出。虽然已经提出了许多重新设计的跳跃连接，但这些方法并没有充分利用多尺度特征的相互作用。因此，我们设计了MSB模块，通过交互来提高多尺度特征的利用率。

OCNet[21]结合了对象上下文(空间注意)和卷积，分别捕获全局和局部信息。DANet[13]将非局部操作视为空间注意，这导致了通道注意以及这两种注意机制的结合。以空间注意和通道注意相结合为目标的研究主要有CBAM[12]和DANet[13]。然而，这些方法只关注一两种注意机制。在本文中，我们提出了GL-CSAM模块，通过结合四种注意机制来获取全局上下文信息。

深监督：为更好的处理不同尺度特征，一个直观的想法是将多个尺度特征集成在一起，以获得最佳的最终预测。这就是深监督的动机。许多网络利用跳跃链接实现深监督。

网络结构：

图2展示了所提出的MSCA-Net，其主要由U-Net[7]结构作为主干网以及三个所提出的模块组成。更具体地说，我们采用ResNet34作为编码器，因为它具有强大的特征提取能力。MSB模块取代了原来的跳过连接，以连接编码器的多尺度特征和解码器路径特征。GL-CSAM模块位于编码器的末尾，用于收集全局上下文信息。在网络末端利用SADS模块自适应集成解码器的多尺度信息作为最终输出。图2中的X1、X2、X3、X°1、X°2、X°3、F1、F2、F3和F4的符号在随后的图中使用，其含义保持不变，表示与图2相同的特征。

在U-Net结构中，编码器降低了特征分辨率，导致空间信息的丢失。跳过连接可以结合较浅的卷积层的特征。较浅层的高分辨率特征包含了丰富的低层信息，在一定程度上减少了空间信息的丢失。但是，U-Net中原有的跳接会引入无关噪声。受U-Net的跳跃连接结构[7]的启发，我们提出了如图3所示的MSB模块，对不同尺度的特征进行交叉关注，在不同分辨率的特征中组合更多的尺度信息。

与自我注意相比，我们的交叉注意有两个改进。一方面，自关注有三个卷积或线性层来获得Q、K和V，它们不共享权值。权衡计算成本和分割性能，我们使用一个1 × 1卷积来生成矩阵V，另一个1 × 1卷积来生成矩阵Q和k。大量的预实验已经证明这是一个更好的设置来平衡性能和开销。另一方面，自我注意是在一个特征上进行的，而我们的注意是跨特征的。在每一级上采样期间，解码器对应分辨率的特征在信道中融合。

该网络通过融合低层和高层特征来保留更多的高分辨率细节，从而提高每层信息的利用率。为了保持合理的计算复杂度，我们做了以下努力:

1)MSB在X1、X2、X3四种尺度中的三种尺度下实现，最大分辨率的尺度保持不变;

2)我们使用1 × 1的卷积层来减少通道的数量(所有尺度为64);3)生成Qi和Ki的卷积层具有共享权值和1 × 1核大小。

上下两分支的四种注意力级联模块

深度监督通常用于各种深度学习模型，通过整合多尺度特征来增强最终输出。为了有效利用多尺度特征，我们提出了SADS模块，如图5所示。考虑到计算复杂度，我们使用1 × 1的卷积层来减少解码器特征的通道数(所有尺度为64)。我们在相邻尺度特征之间采用分层迭代形式。SADS模块利用多尺度特征，利用空间注意机制整合相邻尺度之间的特征。然后，将得到的特征与下一层次的特征相互作用，从而自适应地融合不同尺度的特征。