weixin_41749533的博客

本文的主要贡献是：1. 使用一种新颖的生成对抗网络来学习数据增强的表示和过程。2. 从单个新的数据点演示真实的数据增强样本。3. DAGAN在低数据状态下增强标准分类器的应用，表明所有任务的泛化性能有了显著的改进。4. DAGAN在元学习领域的应用，表现出比所有先前的通用元学习模型更好的性能。结果表明，Omniglot 案例中的性能超过了现有技术 0.5%，EMNIST 案例中的性能为 1.8%。5.通过学习网络为任何给定测试用例生成最显着的增强示例，有效地对匹配网络进行一次性增强。

Tumor Detection, Segmentation and Classification Challenge on Automated 3D Breast Ultrasound: The TDSC-ABUS ChallengeGongning Luoa, Mingwang Xua, Hongyu Chenb, Xinjie Lianga, Xing Taoc,d, Dong Nic,d,e, Hyunsu Jeongf, Chulhong Kimf, Raphael Stockg,h, Michae

对于训练，给定原始图像 Igt，随机位置的二值图像掩码 M（已知像素的值为 0，1 表示未知像素）。对于训练，我们使用分辨率256×256的图像，最大孔径128×128，如[7]、[8]所示。我们的生成图像修复框架在具有挑战性的数据集上实现了令人信服的视觉结果（如图 1 所示）。为了进一步提高生成图像的质量，引入了局部分支上的鉴别器特征匹配，动态最小化了合成补丁和真实补丁之间的中间特征的相似性。• 我们提出了几何对齐约束来补充基于像素的 VGG 特征匹配损失的不足，这将结果限制在更合理的语义空间位置。

我们提出了一个用于不同修复的两阶段模型，其中第一阶段生成多个具有不同结构的粗结果，第二阶段通过增加纹理分别细化每个粗结果。在CelebA-HQ、Places2和ImageNet数据集上的实验结果表明，我们的方法不仅增强了修复解决方案的多样性，而且提高了生成的多幅图像的视觉质量。计算结构特征上的注意力得分可以对结构信息的精确长程相关性进行建模，从而提高合成纹理和生成结构之间的一致性。，将第一部分中生成的comp图像作为输入，得到了生成图像comp对于这个编码器的结构特征以及纹理特征。

为了实现这一目标，提出了一个对抗性框架，该框架结合了两个基于补丁的鉴别器网络和额外的非对抗性损失。未来，我们计划扩展所提出的框架以包括一个分割网络，以绕过在训练期间手动定位缺失区域的需要。最后，与其他传统方法相比，将彻底研究内绘结果在进一步的临床后处理任务中的性能验证。所提出的框架结合了两个基于补丁的鉴别器网络，该网络具有额外的风格和感知损失，以真实详细和上下文一致的方式修复缺失的信息。所提出的框架在两种不同的医学模式上定性和定量地优于其他自然图像修复技术。因此，图像的缺失部分是原始图像大小的 1/16。

此外，它在看不见的类上的表现优于基于提示的方法，在明显较小的数据（1/30）上进行预训练，同时在 CLIP 和 T5 上高出 10 个点以上。我们在两个文本数据集（20NG、RCV1）和两个图像数据集（CIFAR100、AWA2）上评估 SEMSUP，用于多类和多标签分类，以及三个泛化场景（看不见的描述、看不见的类和看不见的超类）。（1）用于使用多个类级描述的采样策略，显着提高了单个类描述的性能，与实例级监督（在 CIFAR 上）相比，需要的注释示例减少多达 500 倍。

因此，我们决定重新评估StyleGAN的网络设计，并搜索一个架构，该架构在没有渐进增长的情况下产生高质量的图像。而进一步，作者将调制器的位置调整了，原本的在卷积层后对A+B进行的调制层移动到了卷积之前，将仿射变换A直接进行调制+解调，加入权重之后直接输入卷积层，同时解调层功能上替代了归一化层。而作者提供的变体为，从c可以看到，相较于原本的模块，去除了均值的部分，文中描述为：仅对标准偏差进行归一化和调制就足够了（即不需要平均值）。对于本文的其余部分，我们使用跳过生成器和残差鉴别器，而无需渐进式增长。

现有的基于深度学习的图像修复方法在损坏的图像上使用标准卷积网络，使用以有效像素为条件的卷积滤波器响应以及掩码孔中的替代值（通常是平均值）。在论文中提到的部分卷积（partial convolution）操作中，卷积运算仅在掩码 𝑀 为1的像素上进行，即只考虑有效的像素。这样，随着网络的逐层传递，掩码 𝑀 会逐渐更新，最终使得所有的掩码区域都被有效像素所替代，从而完成图像的修复任务。2.使用具有不同空值初始化的卷积层U-net架构的结果，如图e,f，分别初始化均值为127.5即255的一半，周围图像的均值？

所以对于核磁的医学图像存在失真或者变形的情况。后续对MR图像的分割，分类任务会受到失真图像的限制，因此我们提出了一个新的医学图像修复框架，ipA-MedGAN.这个框架在作者之前提出的 ip-MedGAN上的改进版本。它可以看作是将输入图像划分为大小为70 × 70像素的重叠小块，对每个小块进行分类，并对最终结果的分类分数进行平均。实际上同样是对整幅图像进行判定，只不过不同于全局判别器，Patch判别器是将图像分为多个小块，挨个判别。同时也区别于局部判别器，局部判别器只对 遮挡 部分进行判别计算。

5.计算x^ 与x’ 之间的损失函数，实际损失函数包含多个内容可以通过论文做确认，进行梯度计算，调整参数。全局信息由局部的3*3的卷积以及全局的FFT2d等傅里叶变换相关的操作后合并得到的。其中，局部信息就是由初始拆解的局部3*3的卷积以及全局3*3的卷积获得。本文中提出的方案可以在修复大片区域，同时对于被复杂的结构也有好的修复效果。最终得到的信息由拆分得到的局部信息以及全局信息合并而成。其中 将FFC详细拆解可以分为局部的卷积以及全局的卷积。4.将输出的图像进行上采样。重复1~5的步骤进行迭代。

这篇论文的核心就是从全图像和局部斑块中获得的特征或预测之间应用对比学习或一致性约束，从而鼓励网络在半监督的医学图像分割中学习局部特征。2/与现有的基于图像、batch和点的对比学习算法相比，新方法能够探索更复杂的相似性线索，即全局与局部补丁表示之间的关系特征。3/同时对全局/局部特征进行预测，然后获取同一个patch的分割预测结果，进行一致性评价。

整体理解下来，将大量无标签的数据通过两种变化，转换成了有监督的数据，然后对生成的特征进行self-supervised learning，去指导特征提取器的更新，其中关键点在于，提取的特征之间如何构造新的方法——二阶图匹配，去进行训练，提取出来的特征，全局，局部信息如何利用起来，同时也涉及到了梯度传播的问题。- 与LVM-Med相比较的其他SSL方法（如VicRegl、Twin-Barlon、Dino等）也是从在ImageNet-1K上预训练的ResNet-50初始化的，并用默认设置训练了100个周期。

在本文中，我们解决了由数据增强造成的前景强度和风格不匹配的问题，从而可以生成可信的图像。由于我们没有成对的真实图像和模拟图像，所以我们通过拍摄真实图像和引入前景差异来用于训练图像协调网络（ARHNet）来创建模拟图像。最后，我们训练了一个基于ARHNet生成的真实图像和合成图像混合的分割模型，以证明其对提高下游分割性能的有效性。我们的前景协调框架（ARHNet），它由四个组件组成：前景强度扰动单元、边界提取器、生成器G和鉴别器d。

我们提出了一个基于基于绘制的数据增强（DA）框架，包括结节合成阶段和结节选择阶段，以合成具有可信结节的CXR图像，以促进后续的结节检测任务。由于不是所有合成的CXR图像都能有效地增强数据，我们引入了结节选择阶段，从合成的CXR图像中识别有效的结节，以有效地增加结节检测训练数据的多样性。增强胸x线结节检测的结节合成与选择。

为解决医疗图像中三维图像连续层相关性的问题，我们提出了一种新的适应方法，启发图像到视频的适应，并进行了一些修改。对于给定的深度为D的三维样本，我们将D x N x L发送给空间分支中的多头注意，其中N为嵌入数，L为嵌入的长度。我们还根据SAM的原始实现使用了一个屏蔽的自动编码器（MAE），它屏蔽了给定的输入嵌入部分，并训练模型来重建它们。在本文中，我们提出了Med SAM适配器，而不是微调MAM适配器，它通过一种简单而有效的自适应技术，将医学特定领域的知识集成到分割模型中。使用prompt训练。

它驻留在一组三个相对简单的U-Net模型上，它们只包含对原始的U-Net [6]的微小修改。在这些步骤中，网络的性能可以获得或分别丢失：预处理（例如重采样和标准化）、训练（例如损失、优化器设置和数据增强）、推理（例如基于补丁的策略和跨测试时间增强和模型的集成）和潜在的后处理（例如，如果适用，强制执行单个连接组件）。就像最初的U-Net一样，我们在编码器中的池化层和解码器中的转置卷积操作之间使用了两个普通的卷积层。阶段1（左）：一个3D U-Net处理下采样的数据，所得到的分割图被上采样到原始分辨率。