论文精读AF-Net: A Medical Image Segmentation Network Based on AttentionMechanism and Feature Fusion

目录

摘要

医学图像分割是计算机视觉在医学图像处理中的一个重要应用领域。由于医学图像中不同器官的位置接近，相似度高，目前的分割算法存在分割错误和边缘分割差的问题。为了应对这些挑战，我们提出了一种基于注意力机制和特征融合的医学图像分割网络（AF-Net），该网络可以有效地捕捉全局信息，同时将网络聚焦在目标区域。在这种方法中，我们将双注意力块（DA块）添加到骨干网络中，以自适应地校准和加权特征，骨干网络包括并行通道和空间注意力分支。其次，提出了多尺度特征融合块（MFF块），以获得不同感受域的特征图，并以较少的计算量获得多尺度信息。最后，为了恢复器官的位置和形状，我们采用全局特征融合块（GFF块）来融合高层和底层信息，从而获得准确的像素定位。我们在多个数据集（主动脉和肺部数据集）上评估了我们的方法，实验结果在mIoU中达到94.0%，在DICE中达到96.3%，表明我们的方法比U-Net和其他最先进的方法表现更好 。

介绍

问题

1、使用特征融合的医学图像分割算法具有较高的特征冗余率和较大的计算消耗。2、基于注意力机制的医学分割算法由于缺乏显式正则化而面临着分割错误的问题，并且由于卷积核较大，通常会导致较高的计算成本。为了解决以上问题，作者设计了一个基于注意力机制和特征融合的AF-Net模型。

贡献

（1）提出平行通道和空间注意块。我们的方法中提出的DA块可以选择特征，以充分保证信息在反向传播中的有效性，并将网络集中在目标区域，以获得更精确的特征表示，从而达到更好的分割效果。

（2） 设计了一个计算量较小的多尺度特征融合模块。MFFblock可以促进对全局上下文信息的理解，并且该模块中使用的小尺寸卷积核减少了计算资源消耗，从而以较少的计算消耗有效地减少了误分割问题的发生。

（3） 采用全局特征融合模块。我们通过GFF块将低级特征与高级特征相结合，充分利用不同级别的信息，使我们的方法能够获得准确的像素定位，并获得更好的边缘分割效果。

方法

我们使用DA-Block对预处理后的图像进行滤波和加权，以生成用于特征融合的多尺度特征。然后添加MFF-block进行进一步提取，以获得更深入的全局信息。最后，我们将编码器的多尺度特征与解码器的中间输出相结合，以生成准确的像素位置。

DA-Block

组成：选择Res-net.[36]的前四块，并添加注意力模块作为DA-Block。在编码器的每个单元都添加注意力模块且添加在short jump connection 之前。

结构：并行结构。

注意力模块

如图四

 1、通道注意力分支中，我们首先使用自适应平均和最大池操作来获得FGap和FGmp。接下来，我们将它们逐元素相加，然后执行Sigmoid函数，以获得大小为RC×1×1的信道特征权重。最后，我们将通道权重和输入特征图 F 相乘，得到加权的通道特征图。

2、空间注意力分支中，我们首先采用整个通道中每个位置的平均值和最大值作为空间特征值FMean和FMax，然后进行级联运算。然后，我们使用sigmoid函数来激活空间特征的权重。最后，我们将空间特征的权重与F相乘，以获得空间加权的特征图。

Multi-Scale Feature Fusion多尺度融合特征

MFF-block受到金字塔特征融合启发，利用较小的卷积核来获得各种特征图。膨胀卷积旨在弥补下采样过程的损失，该过程使用填充操作在不改变大小的情况下获得多尺度和高分辨率的特征图。

Global Feature Fusion全局特征融合 

基于unet网络使用远跳连接不可避免地破坏了激活后的信息。

通过GFF-block将low-level信息和high-level信息结合起来，充分集成各种细节，定位更加准确。

损失函数 

本文中的医学图像分割问题可以看作是一个像素分类问题，它决定了像素是属于前景还是属于背景。二进制交叉熵（BCE）损失被认为是解决二进制分类问题的基础。因此，我们使用BCE损失函数来训练网络。

为了防止过拟合，使用L2正则化方法减少过拟合提高识别能力。 

 结果

为了增加图像的对比度并保留详细信息，我们使用自适应阈值算法对原始图像进行预处理。同时，我们还采用了测试增强策略来提高鲁棒性，包括水平、垂直和对角翻转。所有方法都使用相同的设计。

从主动脉数据集、肝脏数据集和肺部数据集进行医学分割任务实验。

主动脉数据集来自中南大学湘雅医院 ，非公开数据。训练集为192张带有标签的数据，测试集为105张带有标签的数据，大小均为448*448*3。

肝脏数据集来自2017年CT图像分割挑战赛(https://chaos.grand-challenge.org/Download/)的带有标签的2D图像，共420张，400张作为训练集20张作为测试集。

肺部数据集来自肺结节分析竞赛(https://www.kaggle.com/kmader/finding-lungs-in-ct-data/data/).提供了190个2D训练样本和77个测试样本，平均分辨率为512*512。

结果如下

 

通过结果可以得到

1、AF-Net网络结构可以分割的更加完全且减少错误。

2、在边缘分割方面效果上优于其他模型。

3、相较于其他传统模型更能捕获更多有用的信息和特征。 

 消融实验

主动脉数据集上各种成分的测试结果比较

 DA-Block是基于Res-net组成的，通过消融实验发现并行连接的方法比串行注意力模块更优。

 

 DA-Block是基于Res-net组成的，通过消融实验发现并行连接的方法比串行注意力模块更优。 MFF-block可以更好地保留全局和高级信息。GFF-block更准确地恢复像素位置。

计算消耗比较

总结 

在这项工作中，我们提出了一个基于深度学习的AF-Net模型来分割医学图像。更准确地说，注意力模块被设计为具有并行分支，以筛选更有用的特性，用于向后传播。特征融合使我们的模块能够获得更深入、更丰富、更全面的全局信息。实验结果表明，我们的AF-Net模型在主动脉、肺和肝脏数据集上优于现有的医学图像分割方法。