AI数字人：让图片变高清的图像超分辨率模型 Real-ESRGAN

原创

已于 2023-08-15 10:29:11 修改 · 1.1w 阅读

55 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #人工智能 #AI数字人

于 2023-07-19 11:30:53 首次发布

Real-ESRGAN是一种由腾讯ARC实验室开发的盲图像超分辨率模型，用于图像和视频修复与放大。它基于ESRGAN并使用合成数据训练，能处理多种退化情况。模型包括不同优化版本，适用于不同类型的内容。通过生成器和鉴别器的改进，尤其是采用U-Net鉴别器和光谱归一化，Real-ESRGAN在保留细节和抑制伪影方面取得了平衡。它可以应用于图像和动漫视频的增强。

1 Real-ESRGAN介绍

1.1 Real-ESRGAN是什么？

Real-ESRGAN全名为Enhanced Super-Resolution GAN：增强的超分辨率的对抗生成网络，是由腾讯ARC实验室发布的一个盲图像超分辨率模型，它的目标是开发出实用的图像/视频修复算法，Real-ESRGAN 是在 ESRGAN 的基础上使用纯合成数据来进行训练的，基本上就是通过模拟高分辨率图像变低分辩率过程中的各种退化，然后再通过低清图倒推出它的高清图，简单说你也可以把它理解为一个图像/视频修复、放大工具。

github地址：Real-ESRGAN
论文地址：Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data

Real-ESRGAN 目前提供了五种模型，分别是 realesrgan-x4plus（默认）、reaesrnet-x4plus、realesrgan-x4plus-anime（针对动漫插画图像优化，有更小的体积）、realesr-animevideov3（针对动漫视频）和 realesrgan-x4plus-anime-6B，你可以根据你要处理的图片或视频选择合适的模型进行使用。

1.2 Real-ESRGAN原理

（1）生成器：

采用与ESRGAN[50]相同的生成器(SR网络)，即一个具有多个残差-残差密集块(RRDB)的深网络，如图4所示。我们还扩展了原来×4ESRGAN架构，以执行以×2和×1为比例因子的超分辨率。由于ESRGAN是一个重型网络，我们首先使用像素unshuffle (pixel-shuffle[42]的逆操作)来减少空间大小，并在将输入输入到主ESRGAN架构之前扩大通道大小。因此，大多数计算都是在较小的分辨率空间中进行的，这可以减少GPU内存和计算资源的消耗。