U-Net系列论文简单讲解

视觉任务

 

图像分类：判断目标是否在当前的图像里面；

目标检测：确定目标在图像中的位置；

图像分割：为每个目标创建一个像素级掩码；

 

分割指标

指标主要包含：BCE、Dice系数、IoU

Binary cross-entropy：二分类的交叉熵损失；

Dice coefficient：预测值与真值之间重叠通用度量标准。重叠面积*2除以总面积（预测和真实相加）

 

Intersection over Union：简单的度量标准。预测与真实的重叠面积除以并集区域

Dice系数与IoU之间的区别

 

U-Net

该框架起初应用到自然图像的分割，后发现在很多生物医学图像的图像分割任务中得到了不错的效果。

优势：深度学习模型成功训练需要上千上万的深度学习模型的成功训练需要成千上万的带注释的训练样本，但是获取带注释的医学图像是巨大的。U-Net可以使用更少的训练样本进行端到端训练。

精确的分割掩码在自然图像中可能并不重要，但是医学图像中的边缘分割错误会导致结果在临床环境中不可靠。尽管样本较少，但U-Net仍可以产生更精确的细分。

• Contraction path (downsampling)

看起来像典型的CNN架构，通过连续堆叠两个3x3卷积（蓝色箭头），然后进行2x2最大池化（红色箭头）进行下采样。在每个下采样步骤，通道数量都会加倍。

• Expansion path (up-convolution)

一个用于上采样的2x2向上卷积（绿色箭头）和两个3x3向上卷积（蓝色箭头）。在每个上采样步骤中，通道数减半。

在每次2x2向上卷积之后，由于每次卷积中边界像素的丢失，一系列特征映射从Contracting path（灰色箭头）到有相应的图层，以提供从contraction path 到 expansion path 的定位信息。

• Final layer

1x1卷积将特征映射映射到所需的类数。

 

Attention  U-Net

主要改进地方：添加注意门，来解决多级级联卷积神经网络导致重复提取低层特征时会导致计算资源的过度和冗余使用问题。

What is new in Attention U-Net?

UNet++在原来的U-Net基础上增加：Attention gates。

Attention gates的结构如上图顶部所示。首先，输入分别经过2个1×1×1卷积，然后将其相加再使用ReLU。其次，再次执行1×1×1转换，但是这次以Sigmoid作为激活函数。然后，它会经过重采样器（实际上是三线性插值），以使特征图的大小与要乘元素的大小相同。最后，使用较低级别的上采样特征图和原始特征进行Element-wise。

 

U-Net++

What is new in UNet++?

UNet++在原来的U-Net基础上增加了3项功能：

• redesigned skip pathways（以绿色显示）

• dense skip connections（以蓝色显示）

• deep supervision（红色显示）

Redesigned skip pathways

在UNet++中，添加了Redesigned skip pathways（以绿色显示），从而导致语义上不同的特征映射的融合，以融合编码器和解码器子路径映射之间的语义差距。

Redesigned skip pathways的所有卷积都使用3×3大小的核。

Dense skip connections

UNet++中的Dense skip connections（蓝色显示）在编码器和解码器之间实现了跳跃连接。这些稠密块的设计灵感来自DenseNet，目的是提高分割精度和改善梯度流。

Deep supervision

在UNet ++中，添加了深度监督（以红色显示），以便可以修剪模型以调整模型的复杂性，从而在速度（推理时间）和性能之间取得平衡。对于精确模式，平均所有细分分支的输出。对于快速模式，从分割分支之一中选择最终的输出。

更多《计算机视觉与图形学》知识，可关注下方公众号：