论文阅读：用于医学图像分割的嵌套U-Net++体系结构

趁着最近读论文的热度正高，楼主开始了第三篇论文的阅读和记录。

给大家分享一个计算机专业的学生看论文的好网站机器学习的最新动态 |带代码的论文 (paperswithcode.com)

可以看到英文版的论文和github上的源码。作为即将升入大二的小白，还不怎么用github，但是提醒大家github真的很重要哦，

论文原文：UNet++: A Nested U-Net Architecture for Medical Image Segmentation

---

开始阅读：

摘要：

摘要在本文中，我们提出了一种新的，更强大的医学图像分割架构unet++。我们的架构本质上是一个深度监督的编码器-解码器网络，其中编码器和解码器子网络通过一系列嵌套的、密集的跳过路径连接。重新设计的跳过路径旨在减少编码器和解码器子网络特征映射之间的语义差距。

我们认为，当来自解码器和编码器网络的特征映射在语义上相似时，优化器将处理更容易的学习任务。我们在多个医学图像分割任务中，将unet++与U-Net和宽U-Net架构进行了对比评估:胸部低剂量CT扫描中的结节分割，显微镜图像中的细胞核分割，腹部CT扫描中的肝脏分割，结肠镜视频中的息肉分割。我们的实验表明，与U-Net和宽U-Net相比，具有深度监督的unet++的平均IoU增益分别为3.9和3.4点。

ps：关于编码器和解码器，我认为还是有必要知道一下的GitHub (zhihu.com)

介绍：

在医学图像中分割病变或异常需要比在自然图像中期望的更高的准确性。虽然在自然图像中，精确的分割掩模可能并不重要，但在医学图像中，即使是微小的分割错误，也可能导致临床环境中糟糕的用户体验。例如：结节周围细小的毛刺图案可能提示结节恶性;因此，从临床角度来看，将它们排除在分割掩模之外会降低模型的可信度。此外，不准确的分割也可能导致随后计算机生成的诊断发生重大变化。例如，在纵向研究中对结节生长的错误测量可能导致给筛查患者分配不正确的Lung-RADS类别。因此，需要设计更有效的图像分割架构，以有效地恢复医学图像中目标物体的精细细节，即细粒度。

为了满足医学图像更精确分割的需求，我们提出了一种新的基于嵌套和密集跳跃连接的分割架构unet++。我们的架构背后的基本假设是，当来自编码器网络的高分辨率特征图在与来自解码器网络的相应语义丰富的特征图融合之前逐渐丰富时，该模型可以更有效地捕获前景对象的细粒度细节。我们认为，当来自解码器和编码器网络的特征映射在语义上相似时，网络将更容易处理学习任务。这与U-Net中常用的普通跳过连接形成对比，后者直接将高分辨率特征图从编码器快速推进到解码器网络，从而导致语义上不同的特征图融合。根据我们的实验，建议的架构是有效的，在U-Net和宽U-Net上产生了显着的性能增益。

相关工作：

其实自己也没看太懂，大家凑活着看吧，看论文就是这样，总会遇到自己不懂的

ps：跳过连接的相关知识关于跳过连接你需要知道的一切_woshicver的博客-优快云博客

unnet++由一个编码器和一个解码器组成，它们通过一系列嵌套的密集卷积块连接在一起。unnet++背后的主要思想是在融合之前弥合编码器和解码器的特征映射之间的语义差距。

 建议网络架构:UNet++：

UNet++与U-Net(图1a中的黑色部分)的区别在于重新设计的连接两个子网的跳过路径(绿色和蓝色)以及深度监督的使用(红色)

重新设计跳跃路径

重新设计的跳过路径改变了编码器和解码器子网络的连通性。在U-Net中，编码器的特征映射直接在解码器中接收;然而，在UNet++中，它们经历一个密集的卷积块，其卷积层的数量取决于金字塔级别。例如，节点X0;0和X1;3之间的跳跃路径由一个具有三个卷积层的密集卷积块组成，每个卷积层之前都有一个连接层，该连接层将同一密集块的前一个卷积层的输出与下一个密集块的相应上采样输出融合在一起。本质上，密集卷积块使编码器特征映射的语义级别更接近解码器中等待的特征映射。假设是，当接收到的编码器特征映射和相应的解码器特征映射在语义上相似时，优化器将面临更容易的优化问题。

基本上，级别j = 0的节点只从编码器的前一层接收一个输入;级别j = 1的节点接收两个输入，都来自编码器子网络，但在两个连续的级别;第j > 1层的节点接收j + 1个输入，其中j个输入是同一跳过路径中前j个节点的输出，最后一个输入是较低跳过路径上采样的输出。所有先前的特征映射累积并到达当前节点的原因是因为我们在每个跳过路径上使用了密集的卷积块。图1b进一步阐明了Eq. 1，展示了特征映射如何通过unet++的顶部跳过路径

深度监督

我们建议在UNet++中使用深度监督，使模型能够在两种模式下运行:1)精确模式，其中所有分割分支的输出都是平均的;2)快速模式，仅从一个分割分支中选择最终的分割映射，其选择决定了模型修剪的程度和速度增益。图1c显示了快速模式下分割分支的选择如何导致不同复杂性的架构。

我们将二元交叉熵和骰子系数的组合作为损失函数添加到上述四个语义级别，其描述为:

其中^Yb和Yb分别表示图像的平坦化预测概率和平坦化地面真相，N表示批大小 总之，如图1a所示，unnet++与原始的U-Net在三个方面不同:1)在跳过路径(绿色显示)上具有卷积层，它弥合了编码器和解码器特征映射之间的语义差距;2)箕斗路径上有密集的箕斗连接(蓝色部分)，改善了梯度流;3)具有深度监督(用红色表示)，这将在第4节中显示，它可以进行模型修剪，并提高或在最坏的情况下达到与仅使用一个损失层相当的性能。

实验：

数据集:我们使用四种医学成像数据集进行模型评估，涵盖不同医学成像方式的病变/器官

基线模型:为了比较，我们使用了原始的U-Net和定制的宽U-Net架构。我们选择U-Net是因为它是图像分割的常用性能基准。我们还设计了一个宽U-Net，其参数数量与我们建议的架构相似。这是为了确保我们的架构产生的性能增益不仅仅是由于参数数量的增加。表2详细介绍了U-Net和wide U-Net架构。

wwwwwww，之后还会再出一篇关于unet的论文，直接看unet++真的看不懂，坐牢啊

在没有深度监管的情况下，unet++在UNet和wide U-Net上都取得了显著的性能提升，IoU平均提高了2.8和3.3个点。有深度监督的unet++比没有深度监督的unet++平均提高了0.6分。具体来说，深度监督的使用导致肝和肺结节分割的显著改善，但这种改善在细胞核和结肠息肉分割中消失。这是因为息肉和肝脏在视频帧和CT中以不同的尺度出现

结论：

为了满足更精确的医学图像分割的需要，我们提出了unet++。建议的架构利用了重新设计的跳跃路径和深度监督。重新设计的跳过路径旨在减少编码器和解码器子网的特征映射之间的语义差距，从而使优化器的优化问题可能更简单地解决。

深度监督还可以更准确地分割病变，特别是出现在多个尺度上的病变，如结肠镜检查视频中的息肉。

我们使用肺结节分割、结肠息肉分割、细胞核分割和肝脏分割等四种医学影像数据集对unet++进行评估。我们的实验表明，与U-Net和宽U-Net相比，具有深度监管的unet++的平均IoU增益分别为3.9和3.4点。

---

自己的感想：

可能因为小白的原因，好多名词不知道什么意思，读的云里雾里的，但这肯定是必须要经历的一个过程，希望之后能好起来吧。等将来成了大佬，一定要重新来看这篇文章。

优点：使用了重新设计的跳跃路径和深度监督

缺点及改进：目前暂无