解析NU-net：乳腺超声图像分割的新突破

• 代码: 本人已复现NU-net模型，代码和实现细节可私聊获取！
• 发表时间: 2024
• 发表期刊: Expert Systems With Applications

这篇论文提出了一种简单而高效的深度学习架构——Nested U-net (NU-net)，专门针对乳腺超声图像中肿瘤分割的挑战，显著提升了分割精度和鲁棒性。以下是对论文的全面解析，带你深入了解NU-net的设计理念与实验成果。

---

目标

• 解决现有问题:
  乳腺超声图像分割面临多重挑战：

  • 复杂的超声模式：噪声、伪影和低对比度导致图像质量不佳。
  • 肿瘤形态多样：肿瘤形状、大小变化大，尤其是小肿瘤和恶性肿瘤难以精准分割。
  • 边界模糊：肿瘤与周围组织的边界不清晰，传统方法难以区分。
  • 强度分布相似：肿瘤与正常组织的像素强度接近，增加分割难度。

  经典的U-net虽在医学图像分割中广泛应用，但直接用于超声图像时效果有限，尤其在处理多尺度特征和复杂边界时表现不佳。许多U-net变体（如多尺度U-net、注意力U-net）引入了复杂模块，但这些方法往往增加了复现难度，且对乳腺肿瘤的鲁棒性不足。

• NU-net的目标:
  NU-net旨在通过一个简单、高效且鲁棒的架构，解决上述问题，提升乳腺肿瘤分割的精度，同时保持易于理解和复现的特点。

---

创新点

• 嵌套U-net架构：
  NU-net通过组合七个不同深度的U-net（深度从1到15层）并共享权重，形成嵌套结构。这种设计自然捕捉多尺度特征，适应肿瘤的形态变化，无需复杂的多尺度模块。
• 更深的骨干U-net：
  采用15层U-net作为基线，增强特征提取能力，显著提升对复杂超声图像（如低质量、模糊边界）的表征能力。
• 多输出U-net (MOU)模块：
  在编码器和解码器之间嵌入六个MOU模块（深度分别为11、9、7、5、3、1），优化编码特征图，增强细粒度与语义特征的关联，提升多尺度适应性。
• 多步下采样短连接 (MDSC)：
  引入三个基于4×4池化的短连接，增强长距离特征的相关性，缓解深层网络的退化问题，进一步提高对不同尺度肿瘤的分割精度。
• 简单性与低计算成本：
  通过共享权重和高效设计，NU-net在显著提升性能的同时，仅增加约2.87倍的计算成本（GFLOPs），易于复现和部署。

---

方法

III. 方法

A. 概述

NU-net的整体架构如图3所示，基于经典U-net的编码器-解码器结构，包含五个下采样、五个上采样和跳跃连接，并整合了以下三大创新组件：

1. 更深的骨干U-net（15层）
2. 多输出U-net (MOU)
3. 多步下采样短连接 (MDSC)

这些组件分别针对乳腺超声图像分割中的特征提取、多尺度适应性和长距离信息传递进行了优化。

1. 更深的骨干U-net

• 挑战：传统U-net及其变体通常使用浅层网络（≤9层），难以充分提取复杂超声图像中的空间和位置信息。
• 设计：NU-net选用15层U-net作为基线，包含更深的卷积层，增强对低质量图像、模糊边界和形态多样肿瘤的特征表征能力。
• 优势：实验表明（图5），15层U-net在性能和参数量之间达到平衡，显著优于浅层U-net。

2. 多输出U-net (MOU)

• 挑战：如何确保编码器每一层的特征图有效且被充分利用？
• 设计
  • NU-net嵌入六个MOU模块，深度分别为11、9、7、5、3、1层。
  • 每个MOU模块通过卷积（滤波器大小与输入通道数一致）精炼编码特征图，并将其输出与骨干U-net编码器输出结合，输入解码器。
  • 功能
    1. 特征优化：精炼特征图，增强对复杂图像的处理能力。
    2. 多尺度信息：不同深度的MOU提供多样化特征，支持解码器重建。
    3. 特征关联：增强同尺度下编码和解码特征的相关性。
• 优势：MOU使NU-net可视为七个U-net的嵌套组合，通过共享权重保持简单性和一致性。

3. 多步下采样短连接 (MDSC)

• 挑战：深层网络易出现退化问题，传统短连接局限于同尺度或相邻尺度，无法捕捉长距离信息。

• 设计

  • 编码器包含

    三个MDSC

    ，每个包括：

    • 4×4池化层：实现跨尺度降采样。
    • 32通道卷积层：伴随批归一化和激活层，优化特征传递。

  • 功能：增强远距离特征图的相关性，缓解网络退化，提升多尺度适应性。

• 优势：MDSC与MOU协同作用，显著提高对不同形状和尺度肿瘤的分割精度。

B. NU-net主干网络

NU-net的主干网络基于U-net设计，但通过更深的层数、MOU和MDSC进行了优化：

主干网络结构

1. 输入处理：
   输入超声图像经过初始卷积，生成初步特征图。
2. 下采样阶段（Encoder）
   • 包含5个下采样块，每块使用标准卷积和池化，逐步减少空间维度。
   • 嵌入MOU模块，优化每一层的编码特征图。
   • 三个MDSC连接不同尺度的特征图。
3. 跳跃连接：
   下采样与上采样块通过跳跃连接相连，保留低级特征以增强细节恢复。
4. 上采样阶段（Decoder）
   • 5个上采样块逐步恢复特征图至原始尺寸。
   • 每阶段结合跳跃连接和MOU输出，生成最终分割掩码。

C. 多输出U-net (MOU)

MOU模块结构：

图：MOU模块示意图

• 实现细节

  • 输入：编码器某层的特征图 $F\in Rc\times h\times wF\in {\mathbb{R}}^{c\times h\times w}F\in Rc\times h\times w$。
  • 卷积：使用与输入通道数相同的滤波器大小，生成精炼特征图。
  • 多输出：MOU中间层输出与编码器输出结合，输入解码器。
  • 共享权重：六个MOU模块与骨干U-net共享权重，减少参数冗余。

• 公式

  （简化为功能描述）：

  • 特征精炼：$FMOU=Conv(F,c)F_{\text{MOU}}=\text{Conv}(F,c)FMOU=Conv(F,c)$。
  • 特征融合：$FDecoder=FEncoder\oplus FMOU{F}_{\text{Decoder}}=F_{\text{Encoder}}\oplus F_{\text{MOU}}FDecoder=FEncoder\oplus FMOU$。

• 主要特点

  ：

  • 多尺度适应：不同深度的MOU捕捉多样化特征。
  • 特征优化：精炼编码特征，增强鲁棒性。
  • 简单高效：共享权重降低复杂性。

D. 多步下采样短连接 (MDSC)

MDSC结构：

图：MDSC示意图（注：基于论文图4c）

• 实现细节

  • 池化：4×4池化层，跨尺度降采样。
  • 卷积：32通道卷积，伴随批归一化和激活（ReLU）。
  • 位置：编码器中的三个MDSC连接不同深度特征图。

• 公式

  （简化为功能描述）：

  • 跨尺度映射：$ F_{\text{MDSC}} = \text{Conv}(\text{Pool}(F_{\text{Encoder}}, 4 \times 4), 32)$$。
  • 特征融合：$F_{\text{Decoder}}=F_{\text{Decoder}}\oplus F_{\text{MDSC}}$。

• 主要特点

  • 长距离关联：增强远距离特征的相关性。
  • 退化缓解：提升深层网络稳定性。
  • 低成本：参数和计算增幅极小（TABLE 3）。

E. 损失函数

• 实现方式：
  使用**二元交叉熵 (BCE)**作为损失函数，优化分割掩码： $L=-\frac{1}{N}{\sum }_{i=1}^N[y_i\log ({\hat{y}}_i)+(1-y_i)\log (1-{\hat{y}}_i)]$其中，$y_i$​ 为真实掩码，${\hat{y}}_i$ ​ 为预测掩码，$N$ 为像素数。
• 特点
  • 适合二分类任务（肿瘤 vs. 非肿瘤）。
  • 与实验设置（Adam优化器，学习率0.001）结合，确保训练稳定性。

---

IV. 评估

NU-net在三个公开乳腺超声数据集上进行了广泛实验，验证了其有效性、竞争力和鲁棒性：

图：BUSI、Dataset B和STU数据集样本

• BUSI：780张图像，包含133例正常、437例良性和210例恶性病例。
• Dataset B：163张图像，包含110例良性和53例恶性病例。
• STU：42张图像，仅用于外部验证。

A. 数据集

• BUSI
  • 四折交叉验证，Dice达78.62%，Jaccard达70.35%。
  • 高Recall（82.46%）表明对肿瘤区域的全面检测。
• Dataset B
  • 四折交叉验证，Dice达80.80%，Jaccard达72.03%。
  • Specificity高达98.96%，表明对非肿瘤区域的精准分割。
  • 在小数据集上的优异表现凸显了NU-net的鲁棒性。
• STU
  • 外部验证，具体性能未提供（TABLE 6），但论文称NU-net在跨设备场景中表现最佳。

B. 消融实验

• 实验设计

  在BUSI和Dataset B上测试以下配置（TABLE 2）：

  • U-net（基准）。
  • Deeper U-net（15层）。
  • Deeper U-net + MOU。
  • Deeper U-net + MOU + MDSC（完整NU-net）。

• 结果

• 

  （TABLE 2）：

  • U-net
    • BUSI：Dice 70.10±2.20
    • Dataset B：Dice 68.20±4.23
    • 性能较低，标准差高。
  • Deeper U-net
    • BUSI：Dice 77.31±1.95（+7.21）
    • Dataset B：Dice 76.48±1.77（+8.28）
    • 深度增加显著提升性能。
  • Deeper U-net + MOU
    • BUSI：Dice 78.58±1.41（+1.27）
    • Dataset B：Dice 78.70±0.87（+2.22）
    • MOU优化特征图，增益在小数据集上更明显。
  • Deeper U-net + MOU + MDSC
    • BUSI：Dice 78.62±1.38（+0.04）
    • Dataset B：Dice 80.80±0.57（+2.10）
    • 完整NU-net性能最佳，标准差最小。

• 结论

  • 更深的U-net贡献最大，MOU和MDSC进一步优化多尺度特征和稳定性。
  • Dataset B上的更大增益表明NU-net对小数据集和小肿瘤更有效。

C. 对比实验

图：NU-net与其他方法的分割结果对比（注：基于论文TABLE 4）

• 实验设计：
  在BUSI和Dataset B上与12种最先进方法比较，包括U-net [8]、Att U-net [38]、U-net++ [13]、SKU-net [21]、AAU-net [23]等（TABLE 4）。

• 结果

  • BUSI
    • NU-net：Dice 78.62±1.38，Jaccard 70.35±1.54
    • 次优（BASNet [31]）：Dice 77.75±2.51（*p<0.05）
    • U-net：Dice 70.10±2.20（最低）
  • Dataset B
    • NU-net：Dice 80.80±0.57，Jaccard 72.03±0.82
    • 次优（AAU-net [23]）：Dice 78.14±2.41（*p<0.05）
    • U-net：Dice 68.20±4.23（最低）

• 结论

  • NU-net在所有指标上均领先，配对t检验（p<0.05）确认其显著优势。
  • 在小数据集（Dataset B）上表现尤为突出，标准差最小，验证了其鲁棒性。

D. 鲁棒性分析

• 良性和恶性肿瘤

  （TABLE 5，数据未提供）：

  • NU-net在BUSI的良性（四折验证）和恶性（三折验证）肿瘤上均表现最佳。

  • 失败

    • 良性：1.43%
    • 恶性：4.12%

  • 低失败率表明NU-net对复杂肿瘤（尤其是恶性）的适应性。

• 外部验证

  （TABLE 6，数据未提供）：

  • 使用Dataset B（BUSI的外部数据）和STU（Dataset B的外部数据）。
  • NU-net在跨设备场景中表现最佳，验证了其泛化能力。

• 结论

  • NU-net对肿瘤多样性和设备差异具有高度鲁棒性，适合临床跨站点应用。