19、图像修复中的感知伪影定位与质量评估

图像修复中的感知伪影定位与质量评估

1. 训练优化与人类感知判断分析

在训练过程中，尝试向训练集中添加相同数量的真实图像，这些真实图像的掩码为空。实验结果表明，这有助于进一步提升性能。

为了深入了解人类判断的主观性以及人类表现的边界，邀请了三名人类受试者对 479 张测试图像进行标注。这三名受试者的背景情况如下：
- 受试者 A 之前从事过相关任务，但未处理过这些图像。
- 受试者 B 和 C 之前未从事过该任务，但由标注团队通过大量标注示例进行了培训。

理论上，受试者 A 对任务和标注标准的理解应优于其他两名受试者，且三人都具有摄影或设计背景。

将这三名受试者的标注结果与标注团队之前的标注进行比较，结果显示，除了精度指标外，分割模型在所有指标上都达到甚至超过了表现最佳的人类受试者。这意味着模型实际上比单个个体更能准确学习到标注团队的平均判断标准。另一方面，这些结果也表明，人类在标注伪影区域时存在很大的主观意见差异，定量分数明显不同。

2. 图像修复质量评估的动机

图像修复缺乏良好的评估指标，特别是对于单图像质量评估。以往的工作大多将图像修复视为一种恢复任务，因此常使用重建指标（如 MSE、SSIM、PSNR 和 LPIPS）来量化填充图像与原始图像之间的相似度。然而，只有当孔洞不大且位于背景区域时，重建指标才能合理衡量修复性能。当孔洞与前景对象大量重叠或覆盖前景对象时，大多数修复算法会利用背景上下文填充孔洞区域，此时对象通常会从图像中完全移除。在这种情况下，重建指标不再是衡量修复质量的合适指标，因为填充区域可能与孔洞内的原始像素完全无关。

例如，在从图像中移除人物时，输出 A