37、基于分层下采样的超高分辨率图像修复技术

基于分层下采样的超高分辨率图像修复技术

1. 背景介绍

近年来，图像修复技术在图像处理领域备受关注。它可以自动移除图像中的某些对象，或者修复受损的图像。传统的图像修复方法通常从已知区域预测缺失部分，这就需要原始输入信息，并对其进行下采样以方便处理。然而，大多数方法在下采样过程中会出现图像质量下降的问题，因为基于平均值或最大值的下采样会丢失像素信息。此外，一次性进行大量计算会消耗大量内存，使得这些方法只能处理分辨率小于 1K 的图像。

2. 传统方法分类

传统的图像修复方法大致可分为两类：
- 基于扩散的方法 ：利用变分方法和偏微分方程，将周围区域的信息扩散到缺失区域内部，传播目标孔洞周围的局部图像外观。例如，Wang 等人提出的基于金字塔模型的下采样修复（PDI）模型，对规则图像模式有很好的效果，但在修复不规则或未知对象时效果不佳。
- 纹理合成技术 ：通过从已知区域借用信息来填充孔洞，或者从背景区域找到最接近孔洞边界的像素，逐步填充未知区域。这些方法在修复小面积缺失时视觉效果较好，但随着图像尺寸和缺失区域的增加，性能会大幅下降。而且，训练所需的数据成本高，内存消耗大。

3. 现有改进方法及问题

Contextual Residual Aggregation（CRA）方法在一定程度上改善了上述问题。它通过聚合已知区域的加权高频残差，为未知区域生成高频残差，最后将这些高频残差添加到生成的修复结果中。所有过程都在低分辨率图像上进行，因此内存使用和成本显著降低。但它仍然存在下采样方法的问题，下采样过程中取多个像素的平均值或最大值会导致部分像素消