ipA-MedGAN: INPAINTING OF ARBITRARY REGIONS IN MEDICAL IMAGING

最新推荐文章于 2025-12-03 15:22:15 发布

原创最新推荐文章于 2025-12-03 15:22:15 发布 · 487 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #深度学习 #人工智能

本文介绍了ipA-MedGAN在医疗影像中的应用，一种用于任意区域修复的框架，能有效处理金属伪影、运动伪影和异物遮挡等问题。它利用级联MultiRes-UNet生成器和双感受野判别器，实现对缺失矩形和不规则形状区域的高质量修复。实验结果显示，对于不规则形状，ipA-MedGAN优于其他知名方法如pix2pix和门卷积，但可能牺牲了运行效率。

前言

原文：
K. Armanious, V. Kumar, S. Abdulatif, T. Hepp, S. Gatidis and B. Yang, “ipA-MedGAN: Inpainting of Arbitrary Regions in Medical Imaging,” 2020 IEEE International Conference on Image Processing (ICIP), 2020, pp. 3005-3009, doi: 10.1109/ICIP40778.2020.9191207.

一、介绍

文章出发点：由于多种因素，例如金属伪影，运动伪影和异物的遮盖等，医学图像中的局部变形是常见现象。
解决方法：提出了医学图像修复框架，用以修复任一形状的缺失区域，并且无需事先对感兴趣的区域进行定位。

二、方法

网络结构如下图所示：
它的整体框架还是cGAN，生成器为两个级联的MultiRes-UNet，判别器两个感受野不同的子网络组成，256×256的感受野更关注合成图像的全局属性，确保修复区域均匀地适应周围的上下文信息。70×70的感受野聚焦在较小的patch上，确保修复区域更微小的细节。在这里插入图片描述
网络的输入为一张包含不规则缺失部分的二维图像y，通过生成器G我们可以得到一张填补后的图像x’，之后判别会判断填补后的图像x’和真实图像x。

在这里插入图片描述

三、实验

分别进行了缺失部分是矩形和不规则形状两个实验。
当缺失部分是矩形时，不管是从定性还是定量上来说，CE的结果是最差的。ipA-MedGAN的效果较好。
在这里插入图片描述
当缺失部分是不规则形状时，ipA-MedGAN的效果相比其他认可度比较高的方法，像pix2pix，门卷积，它的填充结果都是更好的，但是文章中虽然没有提到，从网络设计来说ipA-MedGAN的运行时间应该会更长。