29、医学图像分析中的深度学习：从宫颈细胞分割到乳腺癌检测

医学图像分析中的深度学习：从宫颈细胞分割到乳腺癌检测

1. 宫颈细胞核分割的 Pap - Net 框架

1.1 Pap - Net 模型结构

Pap - Net 是一个基于补丁的多尺度深度学习框架，用于从巴氏涂片图像中进行细胞核分割。其卷积块的滤波器数量和内核大小是通过启发式方法选择的。在最后一个卷积块之后，使用了一个 2×2 的最大池化层来降低特征空间的维度。各个块的输出被连接在一起，然后通过扁平化块。扁平化块的输出依次通过具有 100 和 10 个神经元的两个密集层，最终的密集层用于将每个补丁标记为细胞核像素（类别 1）或背景（类别 0）。在训练过程中，使用了学习率为 0.0001 的 Adam 优化器，学习率同样是通过启发式方法确定的，并且使用 Dice 损失来训练模型，训练进行了 150 个周期。

1.2 实验数据集

使用了 ISBI - 2014 重叠宫颈细胞学图像分割挑战数据集。该数据集包含 45 张合成宫颈细胞学灰度图像和 16 张扩展景深（EDF）真实宫颈细胞学图像（大小均为 512×512）用于训练，挑战组织者还提供了 90 张合成图像用于测试。数据集中的图像包含孤立细胞核和高度重叠的细胞核，每个图像（包括测试集）中的细胞核都由专业细胞技术人员进行了分割标注。为了增加训练样本数量，在训练前对 45 张合成图像和 16 张 EDF 图像进行了数据增强。

1.3 实验结果评估

• 定性评估 ：通过对测试图像的细胞核分割结果与真实标注进行视觉比较，发现所得到的细胞核分割图与标注掩码相似，即使是高度聚集的细胞核菌落也能被准确分割，这表明该框架具有较强的鲁棒性，可用于巴氏涂片图像的细胞核分割。
• 定量评估 ：使用精度和召回率来评估 Pap - Net 框架的性能，并与其他先进技术进行了比较。从比较结果（如下表所示）可以看出，Lu 等人的方法在精度上最高，而 Pap - Net 方法在召回率方面表现出色，并且能够在精度和召回率之间保持平衡。相比之下，一些先进技术过于依赖手工特征提取，在处理细胞核密集重叠的情况时效果不佳。

方法	精度 ↑	召回率 ↑
Lu 等人	0.977	0.883
Ushizima 等人	0.959	0.895
Nosrati 等人	0.903	0.893
Saha 等人	0.918	0.915
Braz 等人	0.929	0.917
提出的 Pap - Net	0.937	0.923

2. 乳腺癌检测的深度学习模型比较

2.1 研究背景

乳腺癌是世界上最常见且发展迅速的疾病，主要影响女性。早期检测对于乳腺癌的有效诊断和管理至关重要，乳腺钼靶摄影是早期检测和诊断该疾病的可靠策略之一。自动乳腺钼靶图像解读是当前的研究热点，自 2012 年深度学习技术引入以来，在这方面取得了巨大成功。本研究对多种经典深度学习模型在乳腺钼靶图像中检测乳腺癌的性能进行了比较。

2.2 实验模型

• Xception 模型 ：其核心思想是深度可分离卷积，对原始的 Inception 块进行了修改。通过扩展原始 Inception 块并交换单个维度（3×3），然后进行 1×1 卷积来降低计算复杂度。该网络在解耦通道和空间对应关系后，计算效率更高。训练时使用的超参数如下表所示。
  | 超参数 | 值 |
  | ---- | ---- |
  | 损失函数 | binary_cross_entropy |
  | 初始学习率 | 1e - 4 |
  | 批量大小 | 32 |
  | 周期数 | 50 |
  | 优化器 | Adam |

• DenseNet201 ：在 CIFAR - 100 和 ImageNet 等多种数据集上表现出色。网络架构中，密集块用于下采样，密集块之间由过渡层分隔，过渡层包括批量归一化、1×1 卷积层和 2×2 平均池化层。为了提高计算效率，在每个 3×3 卷积层之前引入了 1×1 卷积层（瓶颈层），可生成 4k 个特征图。分类时添加了两个分别具有 128 和 64 个神经元的密集层。训练超参数如下表。
  | 超参数 | 值 |
  | ---- | ---- |
  | 损失函数 | binary_cross_entropy |
  | 初始学习率 | 1e - 4 |
  | 批量大小 | 32 |
  | 周期数 | 50 |
  | 优化器 | Adam |

• ResNet152 ：属于多个深度神经网络家族，引入了残差学习单元。残差学习单元是一个前馈网络，通过捷径连接将新输入添加到网络中，最终产生新输出。该单元的主要优点是在不增加模型复杂度的情况下提高分类准确率。训练超参数如下表。
  | 超参数 | 值 |
  | ---- | ---- |
  | 损失函数 | binary_cross_entropy |
  | 初始学习率 | 1e - 4 |
  | 批量大小 | 32 |
  | 周期数 | 50 |
  | 优化器 | Adam |

2.3 实验数据集

• DDSM 数据库 ：由南佛罗里达大学的一组专家开发，包含 2620 个乳腺病例，每个病例通过两种不同的视图（MLO 和 CC）收集四张乳腺钼靶图像，平均图像大小为 3000×4800，图像为压缩扫描的数字化 jpeg 格式。
• MIAS 数据库 ：包含来自英国国家乳腺筛查计划的 326 张乳腺钼靶图像，有正常、良性和恶性三种情况。其中 207 张为正常图像，68 张为良性图像，51 张为恶性图像，图像分辨率为 1024×1024 像素，存储为 pgm 格式。
• INbreast 数据库 ：包含 115 名患者的 410 张乳腺钼靶图像，采用两种不同的乳腺视角（MLO 和 CC）拍摄。115 名患者中有 90 人双侧乳房患病，该数据库包含四种主要的乳腺疾病信息，图像采集自葡萄牙大学医院，以 DICOM 格式保存，有 3328×4084 和 2560×3328 两种像素大小。

从这些数据库中选取了 981 个 DDSM 异常病例（479 个良性和 502 个恶性）、119 个 MIAS 异常病例（68 个良性，51 个恶性）和 269 个 INbreast 异常病例（220 个良性和 49 个恶性）来评估深度学习模型检测乳腺癌的效果。不同数据库的差异如下表所示。
| 数据库 | 图像数量 | 图像大小 | 格式 |
| ---- | ---- | ---- | ---- |
| DDSM | 2620 | 3000×4800 像素 | jpeg |
| MIAS | 326 | 1024×1024 像素 | pgm |
| INbreast | 410 | 3328×4084 像素和 2560×3328 像素 | DICOM |

2.4 数据增强

由于深度学习模型训练通常需要大量带注释的数据集，而上述数据集规模较小，给网络训练带来了挑战。主要有数据增强和迁移学习两种解决方法，本研究采用了数据增强的方法。具体操作是将每个数据集的原始乳腺钼靶图像旋转 30°（即 30°、60°、90°、120°、150°、180°、210°、240°、270°、300°和 330°）35 次，然后翻转原始图像，并在水平和垂直方向分别旋转 30° 11 次。增强后，实验用的 DDSM 数据集图像数量增加到 141,264 张，MIAS 和 INbreast 数据集的图像数量分别增加到 4,284 张和 9,684 张。

2.5 实验结果评估

2.5.1 数据集内性能评估

对 DenseNet201、ResNet152 和 Xception 模型在每个实验数据集上分别进行了准确率和 AUC 指标的评估。每个数据集随机划分为 70% 的训练集和 30% 的测试集，网络针对每个训练集训练 50 个周期，初始学习率为 10⁻⁴，动量衰减率为 0.9997。训练使用 3.5 GHz AMD Ryzen 3 1300 四核处理器、128 GB 内存和 Nvidia GeForce GTX 1060 6GB GPU，通过 TensorFlow 框架在 Python 中运行网络。不同网络在各数据集上的性能如下表所示。
| 数据库 | DenseNet201 | | ResNet152 | | Xception | |
| ---- | ---- | ---- | ---- | ---- | ---- | ---- |
| | 准确率 | AUC | 准确率 | AUC | 准确率 | AUC |
| DDSM | 0.8072 | 0.830 | 0.7863 | 0.846 | 0.8203 | 0.8340 |
| MIAS | 0.9298 | 0.773 | 0.7695 | 0.529 | 0.9374 | 0.785 |
| INbreast | 0.9451 | 0.513 | 0.9397 | 0.527 | 0.9379 | 0.539 |

2.5.2 数据集间性能评估

通过数据集间验证进一步研究了深度学习模型的性能，不同模型在不同数据集上的表现差异可以为实际应用中模型的选择提供参考。

综上所述，Pap - Net 框架在宫颈细胞核分割任务中表现出了良好的鲁棒性和平衡性，而 DenseNet201、ResNet152 和 Xception 等深度学习模型在乳腺癌检测的乳腺钼靶图像分析中各有优劣。这些研究成果为医学图像分析领域的进一步发展提供了有价值的参考。

3. 模型性能分析与总结

3.1 各模型性能对比

从上述实验结果可以看出，不同模型在不同数据集上的表现存在差异。以下是对各模型性能的详细分析：
- Pap - Net ：在宫颈细胞核分割任务中，Pap - Net 能够在精度和召回率之间保持良好的平衡。与其他方法相比，虽然其精度略低于 Lu 等人的方法，但召回率表现出色，能够更准确地检测出细胞核，尤其对于高度聚集的细胞核菌落也能进行准确分割，显示出较强的鲁棒性。
- DenseNet201 ：在乳腺癌检测的数据集内性能评估中，DenseNet201 在 MIAS 数据集上的准确率较高，达到了 0.9298，但 AUC 值相对不是特别突出。在 INbreast 数据集上，准确率也表现不错，为 0.9451，但 AUC 值较低，仅为 0.513。这表明该模型在某些数据集上能够较好地进行分类，但对于区分不同类别样本的能力还有待提高。
- ResNet152 ：在 DDSM 数据集上，ResNet152 的 AUC 值达到了 0.846，相对较高，说明该模型在该数据集上对于区分良性和恶性样本的能力较强。然而，在 MIAS 数据集上，其准确率和 AUC 值都相对较低，表现不如其他模型。这体现了模型在不同数据集上的适应性存在差异。
- Xception ：在多个数据集上都表现出了一定的优势。在 DDSM 数据集上，准确率为 0.8203，AUC 值为 0.8340；在 MIAS 数据集上，准确率达到了 0.9374，AUC 值为 0.785。综合来看，Xception 模型在不同数据集上的性能较为稳定，具有较好的泛化能力。

3.2 数据集对模型性能的影响

不同的数据集具有不同的特点，这些特点会对模型的性能产生显著影响。以下是各数据集的特点及对模型性能的影响分析：
| 数据集 | 特点 | 对模型性能的影响 |
| ---- | ---- | ---- |
| DDSM | 图像数量较多，平均图像尺寸较大，包含多种乳腺病例情况 | 模型需要处理较大规模的数据和复杂的图像信息，对模型的学习能力和计算资源要求较高。部分模型在该数据集上能够较好地学习到特征，但也有模型可能会出现过拟合或计算资源不足的问题。 |
| MIAS | 图像数量相对较少，图像分辨率固定，包含正常、良性和恶性三种情况 | 由于数据规模较小，模型容易出现过拟合现象。一些模型在该数据集上可能无法充分学习到足够的特征，导致性能不稳定。 |
| INbreast | 包含多种乳腺疾病信息，图像采集自特定医院，有两种不同的像素大小 | 数据集的多样性和复杂性可能会使模型在学习过程中面临挑战。不同的像素大小也可能会影响模型对图像特征的提取和学习。 |

3.3 数据增强的作用

数据增强是解决数据集规模较小问题的有效方法。通过对原始图像进行旋转、翻转等操作，增加了数据集的多样性和规模，有助于模型学习到更多的特征，提高模型的泛化能力。在本研究中，数据增强后，各数据集的图像数量大幅增加，为模型训练提供了更多的样本，使得模型能够更好地适应不同的图像情况，减少过拟合的风险。

3.4 未来展望

• 模型改进 ：可以进一步对现有的模型进行改进和优化，例如调整模型的结构、超参数等，以提高模型在不同数据集上的性能和泛化能力。
• 多模态数据融合 ：结合其他模态的数据，如超声图像、磁共振图像等，进行多模态数据融合，可能会提高乳腺癌检测的准确性和可靠性。
• 临床应用 ：将这些研究成果应用到实际的临床诊断中，为医生提供更准确的辅助诊断信息，帮助提高疾病的诊断效率和质量。

3.5 决策流程图

graph TD
    A[选择医学图像分析任务] --> B{任务类型}
    B -- 宫颈细胞核分割 --> C[使用 Pap - Net 框架]
    B -- 乳腺癌检测 --> D{选择数据集}
    D -- DDSM --> E[考虑 ResNet152 或 Xception 模型]
    D -- MIAS --> F[考虑 DenseNet201 或 Xception 模型]
    D -- INbreast --> G[考虑 DenseNet201 或 Xception 模型]
    C --> H[进行数据增强和训练]
    E --> H
    F --> H
    G --> H
    H --> I[评估模型性能]
    I --> J{性能是否满足需求}
    J -- 是 --> K[应用于实际诊断]
    J -- 否 --> L[调整模型或数据处理方法]
    L --> H

4. 总结

本文介绍了宫颈细胞核分割的 Pap - Net 框架和乳腺癌检测的多种深度学习模型（DenseNet201、ResNet152 和 Xception），并对它们在不同数据集上的性能进行了详细的评估和分析。各模型在不同任务和数据集上表现出了不同的特点和优势，同时数据集的特点也对模型性能产生了重要影响。数据增强是提高模型性能的有效手段。未来，可以通过模型改进、多模态数据融合等方式进一步提高医学图像分析的准确性和可靠性，为临床诊断提供更好的支持。

通过对这些模型和方法的研究，我们可以更好地理解深度学习在医学图像分析中的应用，为医学领域的发展提供有力的技术支持。在实际应用中，需要根据具体的任务和数据集特点选择合适的模型，并进行适当的调整和优化，以达到最佳的性能。