UNet 3+：用于医学图像分割的全尺寸连接 UNet

摘要

        最近，人们对基于深度学习的语义分割越来越感兴趣。 UNet是一种具有编码器-解码器架构的深度学习网络，广泛应用于医学图像分割。结合多尺度特征是准确分割的重要因素之一。 UNet++ 是通过设计具有嵌套和密集跳跃连接的架构而开发为改进的 Unet。然而，它没有从全尺度探索足够的信息，仍然有很大的改进空间。在本文中，我们提出了一种新颖的 UNet 3+，它利用了全面的跳跃连接和深度监督。全尺度跳跃连接将低级细节与来自不同尺度特征图的高级语义结合起来；而深度监督则从全尺寸聚合特征图中学习层次表示。所提出的方法对于以不同尺度出现的器官特别有益。除了精度的提高之外，所提出的 UNet 3+ 还可以减少网络参数以提高计算效率。我们进一步提出了一种混合损失函数，并设计了一个分类引导模块来增强器官边界并减少非器官图像中的过度分割，从而产生更准确的分割结果。该方法的有效性在两个数据集上得到了证明。代码位于：github.com/ZJUGiveLab/UNet-Version。

1.简介

        医学图像中的自动器官分割是许多临床应用中的关键步骤。近年来，卷积神经网络（CNN）极大地促进了各种分割模型的发展，例如全卷积神经网络（FCN） [1] , 大学网 [2] , PSP网络 [3] 以及一系列DeepLab版本 [4] –​ [6] 。特别是，基于编码器-解码器架构的UNet被广泛应用于医学图像分割。它使用跳跃连​​接来组合来自解码器的高级语义特征图和来自编码器的相应低级详细特征图。为了从 UNet、UNet++ 中的普通跳过连接中消除语义上不同特征的融合 [7] 通过引入嵌套和密集的跳跃连接进一步加强了这些连接，旨在减少编码器和解码器之间的语义差距。尽管取得了良好的性能，但这种方法仍然无法全面探索足够的信息。

        正如许多细分研究所证明的那样 [1] –​ [7] ，不同尺度的特征图探索独特的信息。低级详细特征图捕捉丰富的空间信息，突出器官的边界；而高级语义特征图体现了位置信息，定位器官所在的位置。然而，当逐步下采样和上采样时，这些精致的信号可能会逐渐被稀释。为了充分利用多尺度特征，我们提出了一种新颖的基于U形的架构，称为UNet 3+，其中我们重新设计了编码器和解码器之间的互连以及内部连接解码器之间的交互，以捕获全尺度的细粒度细节和粗粒度语义。为了进一步从全尺寸聚合特征图中学习分层表示，每个侧输出都与混合损失函数连接，这有助于准