SEAL: 面向real-SR的全面评估框架（ICLR24）

最新推荐文章于 2025-02-16 22:20:18 发布

KKKc森同学

最新推荐文章于 2025-02-16 22:20:18 发布

阅读量973

点赞数 13

文章标签：深度学习 pytorch 重构人工智能

本文链接：https://blog.youkuaiyun.com/qq_47071402/article/details/138211127

版权

本文介绍了一种名为SEAL的全新框架，用于系统性评估真实世界超分辨率（real-SR）模型。SEAL通过提出新的评测指标AR和RPR，以及使用聚类和基准线方法，提供了对模型性能的全面理解。实验结果表明，SEAL能有效揭示模型在不同退化情况下的稳定性和一致性，优于随机采样评估。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SEAL: A FRAMEWORK FOR SYSTEMATIC EVALUATION OF REAL-WORLD SUPER-RESOLUTION （ICLR24)

SEAL是第一个全面的real-SR评估框架，促进了real-SR的发展；

code: https://github.com/XPixelGroup/SEAL

paper: https://arxiv.org/pdf/2309.03020

真实世界超分辨率（real-SR）方法专注于处理多样化的真实世界图像。关键思想是使用复杂的高阶退化模型来模拟现实世界的退化。尽管在各种场景下取得了不错的成绩，但仍面临评估的障碍。
目前，一些real-SR方法仅通过从大的退化空间空间中随机选择的一组退化的平均性能来评估模型的性能，无法提供对其整体性能的全面了解，会产生不一致且可能具有误导性的结果。
当面对不同的随机退化时，不同模型表现出不同的性能表现，如上图 (a)。

提出了两个新的评测指标来更加全面的评测real-SR模型的性能表现，Acceptance Ratio (AR)和Relative Performance Ratio (RPR);
提出了一个新的评估框架SEAL，主要包括了：聚类算法，验收/卓越线以及评估策略；

首先，需要通过聚类算法将退化空间中的退化聚类为K类，然后用K个类中心来生成对应的测试集：
分别设置了一个Acceptance Line和Excellence Line用来表示real-SR的模型性能；
Accepetance Line（AL）是在一个小型的网络上训练一个non-blind的模型作为基准，如FSRCNN;
Excellence Line (EL) 是在大的网络上训练一个non-blind模型作为基准，如SRResNet;
$Q^d$ 为real-SR模型在 $D^{test}$ 上的性能表现，如PSNR/SSIM； $Q^{ac}$ 表示AL模型在 $D^{test}$ 的性能表现， $Q^{ex}$ 表示EL模型在 $D^{test}$ 的性能表现；

RPR表示了real-SR模型相对于AL和EL的一个性能指标：

$\sigma$ 是sigmoid function， $RPR_{i} > \sigma(0)=0.5$ 表示了real-SR模型在第i个测试上好于AL；
$RPR_{i} > \sigma(1)=0.73$ 表示real-SR模型在第i个测试上好于EL;
$RPR_I$ 表示在大多数退化情况下表现出类似改进的情况， $RPR_A$ 为 $RPR$ 在AL之上的均值， $RPR_U$ 为 $RPR$ 在AL之下的均值；

为了验证不同的real-SR真正的性能表现，使用BSRGAN和RealESRGAN模型以相同的概率生成 $1\times10^{4}$ 种退化对于Set14中的lenna图片;
使用谱聚类的方式，生成100个类中心，然后用类中心的退化设置生成100个测试集合，分别在Set14和DIV2K，表示为Set14-SE和DIV2K_val-SE;
分为MSE-Loss和GAN-Loss的两种模型，GAN的AL和EL模型分别为RealESRGAN和RealHATGAN;
对于AL和EL模型，使用预训练好的模型再进行微调；