基于深度学习的医学图像分割（三）UNet++: A Nested U-Net Architecture for Medical Image Segmentation

最新推荐文章于 2025-06-18 08:34:08 发布
最新推荐文章于 2025-06-18 08:34:08 发布
阅读量2.2k 收藏 9
点赞数
CC 4.0 BY-SA版权
文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/demons2/article/details/121684771
本文介绍了UNet++网络，它通过重新设计的跳跃路径和深度监督机制，提升了医学图像分割的精度和效率。通过密集的卷积块和多尺度特征融合，UNet++在参数量减少的情况下仍保持良好性能。实验对比了UNet++与UNet和wideUNet，展示了其在不同医学数据集上的优势和模型剪枝的可能性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

UNet++: A Nested U-Net Architecture for Medical Image Segmentation


原文链接
作者解读

一.UNet++网络架构

在这里插入图片描述

UNet++与UNet相比re-designed skip pathways（图中绿色和蓝色部分）且运用了deep supervision（图中红色部分）。

Re-designed skip pathways

UNet网络并不是越深越好，不同数据集的最优深度是不一样的。给定一个新的数据集，并不知道多深的网络是最优的，因此，需要设计一个网络使得它能够学习不同深度特征。如下图所示，可以在这个网络里面找到1~4层的U-Net，这样做的好处是不管哪个深度的特征有效，全部包含在网络中，让网络自己去学习不同深度的特征的重要性。同时，该网络共享了特征提取器，不需要训练大量的UNet，而是只训练一个encoder，它的不同层次的特征由不同的decoder路径来还原。然而上述网络是不能训练的，因为不会有任何梯度经过红色区域。

在这里插入图片描述
为解决网络不能训练的问题，将网络结构进行redesign，如下图所示。将网络中的长连接替换成了一系列短连接，然而长连接是非常必要的，它联系了输入图像的很多信息，有助于还原降采样所带来的信息损失。
在这里插入图片描述
因此，提出了既包含长连接又包含短连接的网络结构。将原来空心的UNet填满，抓取不同层次的特征，将它们通过特征叠加的方式整合。这种Redesign改变了编码和解码子网络的连接性。密集的卷积块使编码器的feature map和解码器的feature map在语义级别相似。假设当接收到的编码器的feature map和相应的解码器的feature map在语义上相似时，优化器将更容易进行优化。
在这里插入图片描述

用公式表示skip pathways：函数H(·)表示卷积操作，且紧跟着一个激活函数；U(·)表示一个上采样层，[ ]表示连接层。j=0的节点从编码器的前一层只接收一个输入，j>1的节点共接收j+1个输入。
在这里插入图片描述

Deep supervision

深度监督使模型可在两种模式下运行：（1）精确模式：最终输出是所有分割分支的输出平均。（2）快速模式：最终的分割图只能从分割分支中选择一个。
(1)整合不同层次的特征，精度提升。
(2)灵活的网络结构配合深监督，在可接受的精度范围内可利用剪枝大幅度缩减参数量。

实现深监督的具体操作是在每个目标结点X0,1,X0,2,X0,3,X0,4后加一个1×1的卷积核followed by a sigmoid activation function，将二元交叉熵和Dice系数的组合作为损失函数添加到四个语义层次中的每一个，监督每一个分支的输出。
在这里插入图片描述

这种深监督带来了一个优势： 剪枝。

为什么剪枝？？？
在深监督过程中，每个子网络的输出均是图像的分割结果，所以如果小的子网络的输出结果已经足够好了，便可以剪掉网络多余的部分。
在测试阶段，由于输入的图像只会前向传播，剪枝之后对前面的输出无任何影响，而在训练阶段，因为既有前向传播又有反向传播，被剪掉的部分可以帮助其他部分更新权重，如果直接拿L1，L2，L3训练，就相当于只训练了不同深度的U-Net，最后的结果会很差。即在测试阶段剪掉的部分对剩余结构不做影响，在训练阶段，剪掉的部分对剩余部分有影响。因此，可以在测试的时候剪枝，根据验证集的结果觉得剪枝多少。
在这里插入图片描述
在(a)(/c)(d)三个数据集中，L2的结果和L4非常接近，而L2的参数量为0.5M,L4的参数量为9M，模型的内存可以省下18倍。

在这里插入图片描述

二.UNet++优势(对比UNet)

（1）跳跃路径上的卷积层，使编码器的feature map和解码器的feature map在语义级别相似。
（2）跳跃路径上有密集的skip-connection，改善了梯度流。
（3）使用deep-supervision，可以进行模型修剪和改进。

三.Experiments

使用了四种医学图像数据集对UNet++进行评估，并与UNet和wide UNet（强行增加U-Net里面的参数量，增加其每层卷积核个数得到）的表现对比。

**为什么用wide UNet？？因为unet++相比unet参数多，为证明并不是无脑增加参数量，模型效果就会好，在设计时使wide unet的参数比unet++稍微多一点。
四种医学图像数据集：小剂量的CT胸透扫描瘤分割、显微镜里的细胞核分割、腹部CT的肝脏分割以及结肠息肉分割

实现细节

监控Dice系数和Intersectionover Union (IoU)，并在验证集上使用了提前终止机制。
使用了Adam optimizer，学习率为3e-4。
沿着skip pathway的卷积层使用大小为3×3（3D肺结节分割使用的是3×3×3）的k个kernel，其中k=32×2i。
为实现Deep supervision，在每个目标结点上附加一个1×1的卷积层和一个sigmoid激活函数。
最终，对于给定的一个输入图像，UNet++生成四个分割图，将四个分割图进一步平均，得到最终的分割图。

四.Result

在这里插入图片描述

Demon果
关注
基于深度学习的医学图像分割（一）
cv君的博客
05-21 2万+
医学图像分割是医学图像处理与分析领域的复杂而关键的步骤，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生作出更为准确的诊断。由于医学图像自身的复杂性，在分割过程中需要解决不均匀及个体差异等一系列问题，所以一般的图像分割方法难以直接应用于医学图像分割。当前，医学图像分割仍在从手动分割或半自动分割向全自动分割发展。 图像分割的定义： 令R代表整个图像区域，对R的分割可看做将R分成若干个满足以下条件的非空子集(子区域){R1,R2,R
基于深度学习的医学图像分割
AI架构师小马
09-03 1271
基于深度学习的医学图像分割 1. 背景介绍 1.1 问题的由来 医学图像分割是医学影像处理领域的一项重要任务，它旨在将医学图像中的目标区域从背景中分离出来。这一过程对于疾病的诊断、治疗规划和预后评估具有重要意义。随着深度学习技术的快速发展，基于深度学
语义分割系列6-Unet++（pytorch实现）
yumaomi的博客
05-17 4万+
本文介绍了Unet++网络，在pytorch框架上复现Unet++，并在Camvid数据集上进行训练。
UNET 细胞图像分割实战：从原理到代码实现
最新发布
ing11230的博客
06-18 860
通过本文的实践，我们展示了如何使用 UNET 模型实现高精度的细胞图像分割。从数据准备、模型构建到训练和评估，每个步骤都对最终结果有着重要影响。未来，随着深度学习技术的不断发展，我们可以期待更强大的模型架构和更高效的训练方法，进一步推动生物医学图像分析领域的发展。结合 Transformer 架构提升长距离依赖建模能力利用半监督学习和弱监督学习处理标注数据不足的问题开发实时细胞分割系统，支持临床诊断决策。
基于深度学习的医学图像分割综述
热门推荐
愿十四亿神州尽舜尧
07-03 6万+
（自己写的，需要转载请联系作者，或者标明出处呀，欢迎加微信交流：wx604954） 摘要：医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键问题。医学图像分割技术的发展不仅影响到医学图像处理中其他相关技术的发展，如可视化、三维重建等，而且在生物医学图像的分析中也占有极其重要的地位。近年来,由于深度学习算法在医学图像分割中的应用, 医学图像分割技术取得了显著的进展。在本文中，我们讨...
毕业设计-基于深度学习的医学影像分割
Hai_Lang_IT的博客
12-26 5869
毕业设计-基于深度学习的医学影像分割：医学影像分割是计算机辅助诊断中的一项基础且关键的任务，目的在于从像素级别准确识别出目标器官、组织或病变区域。不同于自然场景下的图像，医学影像往往纹理复杂，同时受限于成像技术和成像设备，医学影像噪声大，边界模糊而不易判断。除此之外，对医学影像进行标注极大依赖于医疗专家的认知和经验，因此可用于训练中的标注数据少且存在标注误差。早期的医学影像分割系统主要基于传统的图像分割算法搭建，如基于边缘检测的分割算法、基于阈值的分割算法和基于区域的分割算法。但医学图像通常具有对比度低
毕业论文-基于深度学习的医学图像分割方法
Hai_Lang_IT的博客
04-07 4148
毕业论文-基于深度学习的医学图像分割方法：医学图像是反映人体内部结构的图像，是现代医疗诊断的主要依据之一。医学 图像处理任务主要包括图像检测、图像分割、图像配准和图像融合四个方面。目前 医学图像分割处理的对象主要是各种人体器官、组织和细胞的图像。医学图像分割 的任务是根据区域间的相似或不同，把图像分割成若干区域。近年来，研究人员不 断探索和提出各种医学图像分割方法和技术，相继提出了很多方法，包括基于阈值 的分割方法，基于区域的分割方法，基于边缘检测的分割方法等。基于决策树、随 机森林、聚类算法等传统机器学习
UNet++： A Nested U-Net Architecturefor Medical Image Segmentation（用于医学图像分割的嵌套U-Net体系结构）
weixin_45622568的博客
10-08 419
翻译参考的是UNet++ 论文翻译_unet++中文-优快云博客方便自己阅读 题目：UNet++: A Nested U-Net Architecture for Medical Image Segmentation UNet++：一种用于医学图像分割的嵌套U-Net体系结构 2018 CVPR 周纵苇，发表论文时是一个在读二年级的博士，在亚利桑那州立大学念生物信息学。 摘要：在本文中，我们提出了一种新的、更强大的医学图像分割体系结构UNet++。我们的架构本质上是一种深度监督的编解码器网络，其中
UNet++: A Nested U-Net Architecture for Medical Image Segmentation
qq_43173239的博客
01-21 1200
文章目录前言一、论文翻译1 介绍2 Related Work 相关工作3提出的神经网络结构: UNet++3.1 Re-designed skip pathways3.2深度监督4 实验5 结论二、补充 前言 继Unet之后看的第二篇医学图像分割文章，用于记录学习。感谢看过的大佬们一些优秀的博文 一、论文翻译 摘要：在这一篇论文里, 我们展示了一个新的且更强的网络结构UNet++用于医学图像分割.我们的结构本质上是一个深度监督(deeply-supervised)的编码-解码网络,编码和解码的子网络通过
[论文笔记] UNet++: A Nested U-Net Architecture for Medical Image Segmentation
xby的学习笔记存档处
10-09 1万+
2018年6月的文章，DLMIA2018会议，作者单位Department of Biomedical Informatics, Arizona State University   文章对Unet改进的点主要是skip connection。作者认为skip connection 直接将unet中encoder的浅层特征与decoder的深层特征结合是不妥当的，会产生semantic gap。...
深度学习论文: U-Net and its variants for Medical Image Segmentation : A short review
mingo_敏
04-24 3060
深度学习论文: U-Net and its variants for Medical Image Segmentation : A short review U-Net and its variants for Medical Image Segmentation : A short review PDF: https://arxiv.org/pdf/2204.08470v1.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorc
论文研究-深度学习在医学图像分割中应用 .pdf
08-25
深度学习在医学图像分割中应用，武星，，医学图像分割是图像分割的一个重要领域，它在图像中自动分割出感兴趣的区域方面扮演着及其重要的角色。由于人体的器官组织是可发
【PyTorch项目实战】语义分割：U-Net、UNet++、U2Net
shinuone的博客
02-11 8549
图像分割：对图像中属于特定类别的像素进行分类（逐像素分类）。 图像分类：识别图像中存在的内容。 目标检测：识别图像中的内容和位置（通过边界框）。 语义分割：识别图像中存在的内容以及位置（通过查找属于它的所有像素）。
基于深度学习的医学图像分割＜十三＞Mixed Transformer U-Net For Medical Image Segmentation
demons2的博客
01-11 1023
MT-TransUNet
文献阅读-基于深度学习的医疗图像分割综述
Ricardo_PING的Blog
09-26 4522
文献阅读-基于深度学习的医疗图像分割综述
医学成像中的深度学习——基于PyTorch的3D 医学图像分割
BBM的博客
05-14 1万+
计算机视觉领域深度网络的兴起为经典图像处理技术表现不佳的问题提供了最先进的解决方案。在图像识别的广义任务中，包括目标检测、图像分类和分割、活动识别、光流和姿态估计等问题，我们可以很容易地声称 DNN（深度神经网络）取得了卓越的性能。
P1152 欢乐的跳 Python
2401_84010816的博客
04-07 320
nnn 个元素的整数数组，如果数组两个连续元素之间差的绝对值包括了[1,n−1][1,n-1][1,n−1] 之间的所有整数，则称之符合“欢乐的跳”，如数组{1,4,2,3}{1,4,2,3}{1,4,2,3} 符合“欢乐的跳”，因为差的绝对值分别为：3,2,13,2,13,2,1。给定一个数组，你的任务是判断该数组是否符合“欢乐的跳”。每组测试数据第一行以一个整数n(1≤n≤1000)n(1 \le n \le 1000)n(1≤n≤1000) 开始，接下来nnn 个空格隔开的在[−108,108][-1
【论文笔记】医学图像分割 U-Net++：A Nested U-Net Architecture
muyijames的博客
06-02 1712
文章目录1 综述2 网络结构2.1 skip connection2.2 deep supervision2.3 模型剪枝3 分割结果对比3.1 论文用到数据集3.2 预测结果4 源码解析 1 综述 今天分享一篇2018年的论文《UNet++: A Nested U-Net Architecture for Medical Image Segmentation》，已经有很多博客将其解读的很详细了，这里不再重复。这里主要提一下论文亮点： 简而言之，文章主要对 U-Net 中的 plain skip cenne
Unet++网络结构代码(pytorch)
smallworldxyl的博客
11-28 1万+
网络结构图如下： import torch from torch import nn import torch.nn.functional as F from torch.utils.tensorboard import SummaryWriter class VGGBlock(nn.Module): def __init__(self, in_channels, middle_channels, out_channels): super().__init__()
FCN,U-Net，U-Net++这三个模型的网络结构图。
05-11
### FCN、U-Net 和 U-Net++ 的网络结构概述 #### Fully Convolutional Network (FCN) Fully Convolutional Networks (FCNs) 是一种经典的语义分割模型，其核心思想是通过卷积操作替代传统的全连接层，从而实现端到端的像素级预测。FCN 的主要特点是引入了跳跃连接（skip connections），将高层特征图与低层细节丰富的特征图相结合，以恢复空间分辨率并提高分割精度。 以下是 FCN 的典型网络结构特点： - 输入图像经过一系列下采样操作提取高层次特征。 - 使用反卷积（Deconvolution 或 Transposed Convolution）逐步上采样得到最终的分割掩码。 - 跳跃连接将不同层次的特征图融合，增强边缘细节的表现力。 ```plaintext Input -> Encoder (Conv Layers, Pooling) -> Decoder (Upsampling/Transposed Convolutions) -> Output ``` 尽管无法直接展示图片，但可以通过查阅经典论文《Fully Convolutional Networks for Semantic Segmentation》获取详细的架构图[^4]。 --- #### U-Net U-Net 是一种专为生物医学图像分割设计的经典编码器-解码器架构。它的名称来源于其形状类似于字母 “U”。具体来说： - **编码器路径**：由多个卷积层和最大池化层组成，负责逐层降低输入的空间维度，同时增加通道数以捕获更深层次的特征。 - **瓶颈层**：位于中间位置的一系列卷积操作，用于进一步压缩特征表示。 - **解码器路径**：通过对称的上采样操作逐渐恢复原始尺寸，并通过跳过连接将高分辨率特征重新融入当前上下文中。 U-Net 的独特之处在于它利用了跨层连接机制，在每次上采样的过程中都将来自编码阶段的信息传递给对应的解码阶段，这极大地提高了边界区域的准确性[^2]。 ```plaintext Input -> Down-sampling Path (Convs & MaxPoolings) -> Bottleneck Layer -> Up-sampling Path (Transpose Convs & Skip Connections) -> Output ``` 关于具体的可视化图表，可参考原版论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》，其中清晰展示了整个流程及其组件布局[^5]。 --- #### U-Net++ 作为 U-Net 的扩展版本，U-Net++ 提出了嵌套式的架构设计理念，旨在加强多尺度特征之间的交互作用。相比于传统单向传播模式下的简单拼接方式，新方案构建了一个更加密集互联的关系网路体系结构。每层内部不仅存在横向短距离联系而且还具备纵向长程依赖关系，这样做的好处是可以让浅层局部纹理信息更好地指导深层全局结构理解过程，进而提升整体性能表现水平。 具体而言，U-Net++ 主要做了如下改动： 1. 增加额外的跳跃连接形式，形成复杂的金字塔状拓扑； 2. 利用 Dense Block 替代普通的双三次插值方法完成尺寸匹配任务； 3. 强调各子模块间协作效应最大化原则的应用实践价值所在之处体现得淋漓尽致。 因此，如果想深入了解这一改进型框架的具体形态，则建议阅读相关资料比如《UNet++: A Nested U-Net Architecture for Medical Image Segmentation》这篇文章里附带的相关图形说明材料会很有帮助[^1]。 ```plaintext Nested Structure with Multiple Levels of Feature Fusion via Dense Blocks and Enhanced Skip Connections. ``` --- ### 总结对比表 | 特性 | FCN | U-Net | U-Net++ | |-------------------|------------------------------|------------------------------|-----------------------------| | 架构类型 | 编码器-解码器 | 编码器-解码器 + 跨越连接 | 多重嵌套编码器-解码器 | | 数据流方向 | 单向 | 双向（跨越连接辅助） | 高度互连 | | 应用领域 | 广泛适用 | 生物医学为主 | 更高级别的医疗影像分析 | 以上是对三种主流分割算法各自特性的总结归纳，希望对你有所帮助！ ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值