论文阅读总结：UNet++: A Nested U-Net Architecture for Medical Image Segmentation

UNet++: A Nested U-Net Architecture for Medical Image Segmentation

摘要：

1. 提出了适用于医学图像分割的更有效的新网络，UNet++网络。

   网络结构为深监督的、编码器-译码器（deeply-supervised， encoder-decoder）结构的网络，具体为编码器和译码器的子网络通过一系列嵌套的，密集的跳跃路径（nested, dense skip pathways）相连接。

2. 理论上:作者认为当来自decoder的特征图(feature maps)与来自encoder的特征图在语义上相似时，优化器(optimizer)可以处理更简单的学习任务。

3. 评估：将UNet++与U-Net、加宽的U-Net网络结构在多种医学图像分割任务上相对比。

4. 结论：实验证明包含深监督的UNet++网络超过了U-Net、加宽的U-Net网络的表现，具体为IoU平均高3.9个百分点和3.4个百分点。

问题提出：

• 比较先进的encoder-decoder结构的图像分割网络如U-Net与FCN的共同点：采用了"跳跃连接(skip connections)"

跳跃连接：将来自decoder子网络的深的、语义的、粗粒度的特征图和拉例子encoder子网络的前的、低水平的、细粒度的特征图连结在一起。

• 在自然图像上表现良好，但医学图像分析对精度有着更高要求。

• 本文假设（即提出架构的理论基础）：当encoder网络中的高分辨率特征图逐渐丰富，然后再与decoder网络中相应的语义丰富的特征图结合时，该模型能更有效地捕获物体的细粒度细节。

  重点：在特征图结合之前，先使来自encoder的特征图更加丰富。

Related Work

• 全连接网络FCN
• U-Net
• DenseNet
• H-denseunet
• 论证了跳跃连接的作用，并提出short skip connection within encoder(Drozdzalet al.)

共同点：融合来自encoder和decoder的语义上不相似的特征图。

• GridNet
• Mask-RCNN

网络结构：UNet++

UNet++由encoder和decoder组成，其中，encoder和decoder通过一系列嵌套的密集的卷积块连接。

通过这种方式，Unet++在融合特征图前，弥补了不同特征图在语义上的差异。

• 黑色：原始的U-Net结构
• 蓝色：skip pathways中的密集连接
• 绿色：卷积块（convolution blocks）
• 红色：深监督

蓝色、绿色、红色部分区别于原始的U-Net。

##设计思路

1. 关于重新设计的skip pathways

FCN和UNet都使用了跳跃连接(skip connection)，

• FCN中，上采样过程中的的特征图与通过跳跃连接，来自encoder的特征图求和。

• UNet中将两个特征图片拼接，并在上采样过程的每一步中增加了卷积层和非线性。

  密集卷积块将来自encoder的特征图的语义信息转化得与来自decoder的特征图的语义信息更加相近，能让optimizer处理更加简单的优化问题。

2. 深监督(deep supervision)

本文在UNet++中引入了深监督，使模型能够在两种模式下使用。
1. 精确模式
在此模式下，输出为来自所有分割分支输出的平均。
2. 快速模式
在此模式下，最终的输出仅来自于一个分割分支。选择哪个分支的依据为模型的修建成都和速度增益。

图中©部分展示了在快速模式下，分割分支的选择会造成结构不同的复杂度。

• 因为UNet++中的skip pathways在多个能产生多个语义水平的全分辨率(full resolution)的特征图，可以在深监督中被使用。

总结

UNet++与UNet在主要有三点不同(改进)。

• 在skip pathways中添加卷积层，减少了来自encoder和decoder的特征图在语义上的差异。
• 在skip pathways中包含密集的跳跃连接(示意图中蓝色部分)
• 包含深监督。

碎碎念：最近决定读完论文之后开始写论文总结！这篇作为崭新的开始~目前的论文总结主要是基于论文内容+自己的理解，加深记忆方便以后的查找。以后一定能越来越熟练的！加油鸭鸭！