18、图像修复中感知伪影定位技术解析

图像修复中感知伪影定位技术解析

1. 引言

图像修复在物体移除和图像编辑等实际应用中至关重要。基于深度生成对抗网络（GAN）的模型显著提升了孔洞内结构和纹理的修复性能，但可能产生诸如结构破损或色块等意外伪影。在典型的修图流程中，用户会根据这些伪影判断修复模型的效果，并对这些不完美区域进行重新修复。因此，定位和分割这些伪影对于评估修复算法和提升性能具有天然的益处。

传统上，图像修复被视为图像重建和恢复问题，常用的指标如 PSNR、MSE 和 LPIPS 用于比较修复结果与原始图像的内容或像素相似度。然而，在许多情况下，图像修复用于前景物体移除，用户更倾向于生成视觉上合理的背景，而非忠实的前景重建。此外，现有的定量指标如 Frechet Incept Distance（FID）和 Paired/Unpaired Inception Discriminative Score（P/U - IDS）是在大型评估数据集上对整个图像进行计算的，缺乏一种直观、可解释且适用于局部孔洞区域和单结果评估的指标。同时，在实际修复应用中，迭代孔洞填充已被证明优于单次填充，但目前每次迭代使用的掩码要么不可靠，要么是预定义的侵蚀掩码。因此，自动可靠的伪影分割网络可以填补这些空白。

2. 相关工作

2.1 图像修复

经典的图像修复方法包括基于扩散的方法和基于补丁的方法。随着深度学习的兴起，研究人员从多个角度提出了深度模型来提升修复性能，如注意力机制、损失函数和判别器设计、渐进式或多尺度架构、使用中间引导表示以及多模态合理输出等。其中，ProFill、CoMod - GAN 和 LaMa 是最近的领先模型。本工作的目标是独立于修复模型检测和定位填充图像中的感知伪影，