字节跳动智创音视频团队拿下 NTIRE2022 ESR 挑战赛主赛道冠军

动手点关注 干货不迷路 👆

New Trends in Image Restoration and Enhancement（NTIRE）是近年来计算机图像恢复领域最具影响力的全球性赛事。NTIRE 2022 Challenge on Efficient Super-Resolution 吸引了 303 名参赛选手，来自智能创作音视频团队的同学组成「ByteESR」队伍，凭借自研的 RLFN 算法从 43 支队伍中脱颖而出，拿下该比赛主赛道冠军。

图 1 NTIRE2022 ESR 排行榜

Efficient Super-Resolution Challenge

Efficient Super-Resolution（ESR ）竞赛旨在设计一种这样的网络：在维持 Peak Signal-to-Noise Ratio（PSNR ）指标与 Baseline 相当水平的同时（PSNR 在验证集不低于 29.00dB ），从运行时间、参数量、FLOPs、Activations 以及内存占用等方面进行至少一个维度的优化。其任务以 4 倍超分为基准，验证集以及测试集均为 DIV2K，下采样方式为 bicubic。

ESR 竞赛自 19 年起已举办两届，前两届 AIM19、AIM20 在学术界和工业界均产生非常大的影响力。因 AIM21 未举办该比赛，本次比赛是 ESR 竞赛的第三届。由苏黎世联邦理工学院计算机视觉实验室主办，参赛人数为历届之最，南京大学、南开大学、西安电子科技大学等高校和腾讯优图、阿里巴巴、网易、旷世科技等知名互联网公司均有参赛。整场比赛分为三个赛道：

• Main Track: Runtime，根据模型在验证集和测试集的平均运行时间进行排名。

• Sub-Track 1: Model Complexity，根据模型的参数量和 FLOPs 加权得到排名。

• Sub-Track 2: Overall Performance，根据模型运行时间、参数量、FLOPs、Activations 及内存占用五个维度的综合考量得到排名。

NTIRE 已发布官方比赛报告：https://arxiv.org/abs/2205.05675 。经过激烈的角逐，字节跳动的参赛队伍「ByteESR」在主赛道 Runtime 夺冠，在子赛道 Overall Performance 也位列第二。

ByteESR参赛方案论文：http://arxiv.org/abs/2205.07514

参赛方案

基于 Convolutional Neural Network（CNN）的方法已经在图像超分领域取得了极大的进展，为了解决模型在端侧设备部署的性能问题，各种不同的快速且轻量型的 CNN 模型被提出，IMDN