Medical Image Segmentation Review:The Success of U-Net

最新推荐文章于 2024-12-03 10:10:53 发布

不想敲代码的小杨

最新推荐文章于 2024-12-03 10:10:53 发布

阅读量5.5k

点赞数 8

分类专栏：医学图像分割论文文章标签：计算机视觉深度学习人工智能

本文链接：https://blog.youkuaiyun.com/weixin_43921949/article/details/128202759

版权

3.1.2--对跳跃连接过程中的特征进行处理

3.1.3--编码器和解码器特征图的组合

3.2--主干网络的改进与增强

3.2.1--残差主干网络

3.2.2--Multi-Resolution blocks（多分辨率模块）

3.2.3--重新考虑卷积

3.3--Bottlenceck的增强与改进

3.3.1--注意力模块

3.3.2--多尺度表示

3.4--Transformer

3.4.1--Transformer和UNet卷积神经网络结合的改进

3.4.2--用于UNet的纯Transformer主干网络

3.5--Rich Representation Enhancements（增强丰富表示）

医学图像分割综述：UNet的成功

1.摘要与介绍

图像分割任务可以分为两类:语义分割和实例分割。语义分割是一种像素级的分类，将图像中的所有像素划分为相应的类别，而实例分割也需要基于语义分割来识别同一类别中的不同对象。常见医学成像方式有x射线、正电子发射断层扫描(PET)、计算机断层扫描(CT)、磁共振成像(MRI)和超声(US）

卷积神经网络这种体系结构的主要限制是使用完全连接的层，这耗尽了空间信息，从而降低了整体性能。全卷积神经网络FCN来解决这一问题，FCN结构在编码器路径上应用由卷积、激活和池化层组成的几个卷积块来捕获语义表示，并类似地使用卷积层和解码路径中的上采样操作来提供像素级预测。解码路径上的连续上采样过程的主要动机是逐步增加空间维度以获得细粒度分割结果。

U-Net，可以有效地利用有限的带注释数据集，利用数据增强(例如，随机弹性变形)提取图像的详细特征，而不需要新的训练数据，从而获得良好的分割性能。U-Net网络由两部分组成。第一部分是收缩路径，使用由几个卷积块组成的下采样模块提取语义和上下文特征。在第二部分中，扩展路径应用一组具有上采样操作的卷积块，在降低特征维数的同时，逐步提高特征图的空间分辨率从而获得最终的分割结果。U-Net最重要的部分是跳跃连接，它将收缩路径中每个阶段的输出复制到扩展路径中相应的阶段。这种新颖的设计沿着网络传播基本的高分辨率上下文信息，这鼓励网络重复使用低层次表示和高上下文表示，以实现准确的定位。

在本篇综述中，我们将UNet的变体分为以下几类：

1）跳跃连接的改进增强

2）骨干网络的设计改进

3）Bottleneck的增强

4）与Transformer的结合

5）Rich Representation Enhancements--丰富增强表示

6）概率设计

这篇文章的主要贡献在于对基于UNet算法模型的不同方面进行了总结：包括对于基础UNet的改进，训练数据模态，损失函数，评估指标等

2.分类

2.1.2D Unet

2DUNet是基于编码器-解码器设计的全卷积网络，与DNNs本能相比，数据不足，并使用一些直观的数据增强技术。其次，他们的模型速度相当快，优于其他方法.

模型体系结构可以分为两个部分:第一部分是收缩路径，也称为编码器路径，其目的是捕获上下文信息.第二部分是扩展路径，也称为解码器路径，它的目标是逐步向上采样特征映射到所需的分辨率。

UNet模型中包含的连续卷积运算使网络的感受野大小线性增加。这一过程使网络逐渐学会较浅层粗糙的上下文和语义表示。学习高级语义特征使网络慢慢失去提取局部特征，这方面对重建分割结果至关重要。Ronnebreger等人提出了在相同尺度上从编码器路径到解码器路径的跳跃连接来克服这一挑战。这些跳过连接的存在原因是为了从编码器中强加同一阶段提取的语义特征的局部信息。

2.2 3D UNet

由于体积数据的丰富性和表达能力，大多数医学图像形式是三维的。因此，提出了一种基于3D体积的U-Net。

3.UNet扩展

UNet的核心优势是它的模块化和对称设计，这使得它适合广泛修改和与各种即插即用模块协作以提高性能。将对UNet网络的各种修改分为下图中的类别

3.1对于跳跃连接的增强与改进

跳跃连接是UNet体系结构的重要组成部分，这种结构将深的，低分辨率的语义信息与浅的，高分辨率层的局部空间信息结合起来。在最初的UNet网络架构中，编码器路径中的每一层通过跳过连接连接到解码器路径中相应的同分辨率层，以将描述内容的全局信息与解析位置的局部信息结合起来。

在对UNet网络不断改进的过程中，对于跳跃连接的改进也不断出现，对于跳跃连接的改进也分为以下的几类

3.1.1--增加跳跃连接数量

UNet++：UNet++新设计了跳跃连接，使其更灵活，从而更有效地利用多尺度特征。他们没有将跳过连接限制为只聚合在编码器和解码器路径中具有相同规模的特征，而是重新设计了这些特征，使具有不同语义规模的特征可以聚合。UNet++将不同深度的U-Net合并到一个架构中，所有的UNet共享相同的编码器，但有自己的解码器。

UNet3+：UNet3+是将UNet++中引入的密集连接更进一步，在其中引入了全尺度的跳过连接。在UNet++网络中将每个解码器级别与所有编码器级别和所有前面的解码器级别连接起来。由于并非所有通过跳越连接到达解码器节点的特征映射都具有相同的比例，因此高分辨率的编码器特征映射将使用最大池操作缩小比例，而来自解码器内部跳越连接的低分辨率特征映射将使用双线性上采样进行上采样。

BiO-Net：在这个网络中没有额外的增加正向跳跃连接的数量，而是增加了额外的向后跳跃连接。因此BiO-Net是一种具有双向跳跃连接的UNet网络。网络结构如下图所示：