论文阅读：A Progressive Generative Adversarial Method for Structurally Inadequate Medical Image Data Augm

最新推荐文章于 2025-12-23 21:57:38 发布

原创

最新推荐文章于 2025-12-23 21:57:38 发布 · 1.1k 阅读

23 ·

CC 4.0 BY-SA版权

文章标签：

#论文阅读 #计算机视觉 #深度学习 #gan

0. Abstract

背景：

超声图像在结构上存在不足，使得生成网络难以捕捉其结构，导致生成的图像缺乏结构合法性。

工作：

本文提出了一种用于结构不足医学影像数据增强的渐进生成对抗方法，包括一种网络和一种策略。我们的渐进纹理生成对抗网络缓解了生成过程中完全截断结构和纹理重建的负面影响，并增强了结构与纹理之间的隐式关联。
基于掩码重建的图像数据增强策略从新颖的角度克服了数据不平衡问题，保持了生成数据中结构的合法性，并增加了疾病数据的可解释多样性。

结果：

实验在定性和定量上证明了我们的方法在结构不足医学影像数据增强和图像重建方面的有效性。
最后，病变的弱监督分割是我们方法的额外贡献。

1. INTRODUCTION

辅助诊断研究（Auxiliary Diagnosis research based on Deep Learning, ADDL）已经接近甚至超越了医生的表现。
传统增强（Traditional Augmentation, TA）
合成增强（Synthetic Augmentation, SA）
感兴趣区域（Region Of Interest, ROI）

TA分为两类：几何变换和颜色变换。
SA分为两类：基于插值的合成方法和基于生成模型的合成方法。

基于插值的方法包括SMOTE[2]、SamplePairing[3]和mixup[4]。
基于生成对抗网络（GAN）的生成增强方法在一定程度上实现了样本空间外的数据增强。

超声图像具有成像角度和尺度灵活多变的优势。但从另一角度来看，超声数据的结构不完善，导致生成的样本在超声图像中缺乏合法性。

图1中的甲状腺超声图像是我们先前研究的生成结果，其中气管和动脉的位置及特征完全偏离。
本文聚焦于甲状腺超声图像，旨在解决基于生成的增强方法难以维持结构合法性的问题。

本文提出了一个强有力的假设：医学图像 = 局部人体结构 + 组织纹理。
针对结构不一致的数据建模，生成模型只能学习到相对统一的纹理。
本文提出了一种用于结构不完整医学图像数据增强的渐进生成对抗方法（Progressive Generative Adversarial Metho, PGAM），
该方法通过修复病变数据中的病灶来增强正常数据，并通过**条件类别敏感策略（Conditional Category-Sensitive Strategy）**缓解病变数据之间的不平衡。整个过程仅使用图像级标注和病灶的点标注（医生在超声检查中用于测量病灶大小的标注，如图2(a)所示）。

本文的贡献如下：

针对结构不完整图像的数据增强任务，提出了一种渐进生成对抗方法，在保留合法结构的前提下完成图像增强；
提出了一种渐进纹理生成对抗网络（Progressive Texture Generative Adversarial Network, PTGAN），该网络集成了结构和纹理的修复过程，对病灶修复和新病灶合成具有有益效果；
提出了一种基于掩膜重建的图像数据增强策略（Image Data Augmentation Strategy based on MaskReconstruction, MR-IDAS），其中条件类别敏感策略在先验指导下增加了病灶样本分布的多样性；
该方法还可以通过点标注实现病灶的弱监督分割。

2. RELATED WORKS

2.1 GAN for medical data augmentation

基于GAN的数据增强方法可分为3类：

噪声向量：许多方法通过以一维噪声向量为输入，生成虚假的皮肤镜图像[10]、MRI图像[14]、胸部X光图像[15]，以增强不平衡的图像数据集。对于较为复杂的数据如超声图像，Al-Dhabyani等人[8]关注于感兴趣区域（ROI），避免了结构不完整的乳腺超声图像所带来的问题。
分割掩码：这些方法多用于细胞图像生成[9]、[16]以及CT图像生成[17]。尽管掩码限制了新样本中病变的形状，但无法控制病变范围之外的结构。
真实图像：这类方法[6]、[7]通过编码和解码使生成器学习真实数据与虚假数据之间的映射关系。其中，[18]将两张图像（异常和正常）合成为一张异常图像，确保了结构的合法性，但其多样性有限。

大多数基于GAN的医学图像数据增强方法的数据具有一致或松散的结构。
上述方法在采样潜在特征时缺乏先验知识的约束。更具体地说，样本的多样性及其在特征空间中分布的合理性需要同时考虑。
因此，值得研究一种针对结构不完整图像的数据增强方法，并权衡生成数据的多样性与分布合理性之间的关系。==图像修复方法==为我们提供了灵感。

2.2 GAN-based Image Inpainting Method

基于GAN的图像修复方法包括单阶段修复和多阶段修复。
[19]首次将GAN用于图像修复。
[20]在单阶段恢复的潜在向量z的基础上修复了受损图像。
[21]认为修复和掩码是一个互补的过程，同时学习有助于两项任务取得更好的结果。
受[22]的启发，[23]使用两个判别器（一个全局、一个局部）对抗性地去除了MRI中的金属植入物。虽然[24]将图像修复分为内容和纹理两部分，但它本质上是对图像内容的单阶段修复。

根据第一步修复的内容，多阶段方法可分为：a) 边缘；b) 结构；c) 粗略结果；d) 其他优化策略[25]、[26]。
首先，[27]–[29]在第一步生成图像的边缘和颜色，并在第二步整合信息以完成修复任务。
[30]也是一种轮廓补全方法，但它使用了额外的显著性信息。
[31]在第一阶段修复了图像的整体结构，并在第二阶段修复了细节。
[32]提出了一种内容+纹理修复的方法。
[33]提出了从低分辨率到高分辨率的渐进式修复过程。
[34]引入了一种两阶段由粗到细的网络架构，其中第一个网络进行初始粗略预测，第二个网络以粗略预测为输入并预测精细结果。

尽管图像结构和纹理分别重建可以提高生成模型的重建性能，但这些元素之间的隐含关联和渐进关系被忽略了。
因此，本文以渐进的方式加强了图像结构和纹理之间的增量关系。

3. METHODS

渐进纹理生成对抗网络
基于掩模重建的图像数据增强策略
仅使用图像级标注和点标注

我们方法的流程图如图3所示。
PTGAN 包括 渐进纹理模块（Progressive Texture Module, PTM）、精炼模块（Refining Module, RM） 和损失函数。
MR-IDAS 包括针对疾病数据的条件类别敏感策略（Conditional Category-Sensitive Strategy, CCS） 和针对正常-疾病数据的组织纹理重建策略（Tissue Texture Reconstruction Strategy, TTR）。

3.1 Progressive Texture GAN Overview

该方法的核心思想之一是将结构与纹理的重建过程结合起来，进行渐进式纹理学习。
整个模型的损失函数由各模块的损失组成：

其中 $L_C$ 为交叉熵损失，它在生成疾病数据时对生成器生成特定疾病类别的错误施加惩罚。
$L_P$ 和 $L_R$ 分别为PTM和RM的损失。
$λ *$ 表示每个损失的权重。