ICLR 2024 Spotlight｜SEAL：面向真实场景超分辨率的系统性评估框架

研究背景 

现实世界图像超分辨率（Real-World Super-Resolution, Real-SR）技术，作为提升图像清晰度的关键技术，正变得越来越重要。然而，如何准确评估Real-SR方法的性能，一直是该领域的一大挑战。目前的评估方式往往通过从一个大退化空间中随机选取的一小组退化来构建测试集，并计算出小测试集上的平均性能来对模型进行评估，这样的方式往往无法全面了解 real-SR模型的整体性能，还可能会产生不一致且具有误导性的结果。为了解决这个问题，我们提出了SEAL--一个real-SR系统评估框架。

SEAL通过对退化空间进行聚类，找到了一组具有代表性的退化样本，用于构建大尺度测试集。进一步，SEAL提出了一个从粗到细(coarse-to-fine)的评估协议，以衡量真实SR方法在测试集上的分布和相对性能。该协议包含两个新的系统性评估指标：接受率（AR）和相对性能比（RPR）。在SEAL的评估下，我们对现有的real-SR方法进行了基准测试，获得了系统性的对比结果和新的观测现象。

本文获得了 ICLR 2024 Spotlight, 点击底部“阅读原文”即可获取论文全文！

回顾真实超分辨率模型的评估策略 

为了评估Real-SR 方法的性能，现有的工作直接根据 IQA 指标（如 PSNR）计算随机抽样的小尺寸测试集上的平均性能[1][2]。然而，我们发现这种评估方案存在很严重的缺陷。由于退化空间的广阔性，随机选择的小测试集无法可靠地表示退化空间，可能会导致评估结果出现严重偏差和随机性。此外，目前的评估策略不足以全面的 real-SR 方法在整个退化空间中的泛化性，因为它们通常是对所有测试样本的量化结果进行平均，而无法判断在哪些退化任务上取得了好的性能。

如图 1 (b)所示，一种方法可能在 60% 的退化类型上优于另一种方法，但它在一个小的测试集中可能无法获得更高的平均 PSNR 值。平均分不能充分体现整体性能和分布。此外，如果我们的目标是提高平均分数，那么我们可以只专注于提高简单的退化任务（如小噪声或模糊）的性能，但这会对困难的退化任务产生不利影响。这将违背我们的主要目标。相反，一旦我们在简单的情况下取得了令人满意的结果，我们就应该把重点转向具有挑战性的情况，以提高整体性能[3]。综上，我们需要一个能够全面评估真实 SR 方法性能的新框架。 

通过以上分析，我们发现当前的真实超分辨率模型评估面临着如下挑战： 

（1）由于退化空间包含海量的退化任务，如何评估它们的整体性能？直接对所有退化进行测试显然是不可行的，如何选择代表性的退化任务，进而构建大尺度的测试集？ 

（2）在大尺度的测试集上，传统的使用均值来代表模型的性能难以反映模型的整体性能，如何设计新的指标来反映模型在大尺