文献阅读: ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks

本文介绍了ESRGAN,一种在ECCVW2018上获得PIRM-SR(ThirdRegion)冠军的超分辨率生成对抗网络。文章详细解析了其在网络结构上的创新,包括生成器改进、relativistic GAN思想的引入以及改进的感受损失策略,旨在提升图像超分辨的质量。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

文章地址: https://arxiv.org/abs/1809.00219
作者的项目地址: https://github.com/xinntao/ESRGAN

1. 简单介绍

这是一篇ECCVW2018的文章,并获得了PIRM-SR(Third Region)的冠军,作者是在SRGAN的基础上做了三点改进:

  1. 改进了生成器网络,在生成器中使用一种不带BN的Residual-in-Residual Dense Block (RRDB)模块,另外也使用了residual scaling (EDSR中已经使用了)smaller initialization (0.1MSRA)等策略。
  2. 引入了 relativistic GAN 的相关思想,判别器判断的相对值而不是绝对值。
  3. 提出了一种改进感受损失,在激活函数之前使用特征。
2. 网络结构
2.1 生成器部分

    作者是在SRGAN的基础上进行修改的,改进的部分主要就是其中的Basic Block部分。
在这里插入图片描述
    和基础的版本相比,作者做了二个方面的改进:

  1. 去掉BN层
  2. 引入RRDB模块,引入了DenseNet的相关思想。

这样做的出发点是:

  1. 在基本的模块中去掉BN层可以提高网络的表现性能也可以减少计算量。也就是说BN层在训练的时候计算数据集的均值和方差,然后在测试的时候使用已经计算好的均值和方差。当训练数据和测试数据不是太相同的时候往往会引起不令人满意的伪影以及限制了生成器的表达能力。 我们从经验上发现当我们网络很深或者在使用GAN的框架的时候更容易产生伪影。为了训练的稳定以及减少稳定,所以我们移除了BN层。
  2. 通过DenseNets可以提高网络的 capacity 。
    在这里插入图片描述
2.2 relativistic GAN

    其实 relativistic GAN的思想也是很简单的,就是判别器判断的是相关的分数而不是绝对的分数。大家可以参考一下几篇参考文章做进一步理解:
1.The relativistic discriminator: a key element missing from standard GAN
2. 相对的判别器:现有GAN存在关键属性缺失
3. 你的 GAN 是不是少了什么?
4. RSGAN:对抗模型中的“图灵测试”思想
5. Saturating VS Non-Saturating Loss functions in GANs
在这里插入图片描述

2.3 改进感受损失

    在激活函数之前约束特征而不是在激活函数之后。作者这里解释到,之前在SRGAN约束特征是在激活函数之后,这样做有2个弊端:

  1. 激活的特征会变得很稀疏,尤其是在深层网络。
  2. 会导致重建图像和原始图像亮度不一致。

另外作者将原来的VGG损失替换成SR – MINC 损失,说是这个网络将更多的注意力集中在纹理上而不是物体上面。
在这里插入图片描述

2.4 网络插值

    作者还提出了一种网络插值的策略,也就是在一个网络中包含了 PSNR-oriented network 还有 GAN-based network ,这样做的优点有2点:

  1. 模型插值可以在没有引入伪影的情况下产生有意义的结果。
  2. 我们可以平衡感受质量和数据保真项二步需要重新训练我们的模型。
3. 实验部分
3.1 评价指标

    除了PSNR,还有另外一个评价指标,这是这个比赛使用的,也就是perceptual index, 定义:
perceptual index = 1 / 2 ( ( 10 − M a ) + N I Q E ) 1/2 ((10−Ma)+NIQE) 1/2((10Ma)+NIQE),其中 M a Ma Ma是Ma’s score,来源于Learning a No-Reference Quality Metric for Single-Image Super-Resolution, N I Q E NIQE NIQE来源于Making a “Completely Blind” Image Quality Analyzer
在这里插入图片描述

3.2 实验

    作者首先给出了直接的视觉效果,另外也做了 Ablation Study,包含以下几个部分:

  1. 去掉BN
  2. 感受损失之前还是之后激活
  3. RaGAN
  4. 更深的RRDB
  5. 不同的数据集
    在这里插入图片描述
3.3 补充材料

包含:

  1. BN对网络伪影的影响。
  2. 深层网络的训练策略
  3. 不同的数据集以及patch size对性能表现的影响
  4. 更多的视觉表现
    在这里插入图片描述
    在这里插入图片描述
### 回答1: ESRGAN是增强型超分辨率生成对抗网络的缩写,它是一种深度学习模型,用于将低分辨率图像转换为高分辨率图像。它使用生成对抗网络(GAN)的方法,通过训练生成器和判别器来提高图像的质量。ESRGAN是目前最先进的超分辨率算法之一,它可以生成更加真实、细节更加丰富的高分辨率图像。 ### 回答2: ESRGAN是一种增强超分辨率生成对抗网络(Enhanced Super-Resolution Generative Adversarial Networks)的算法,它采用了图像增强技术和深度学习的方法,可以将低分辨率(LR)的图像转化为高分辨率(HR)的图像。该算法主要的贡献在于,它可以生成更加逼真的HR图像,从而更好地应用于实际的图像处理领域。 该算法主要是由两个子模型组成的,一个是生成模型(Generator),另一个是判别模型(Discriminator)。生成模型通过学习HR图像和相应的LR图像之间的关系,生成更加逼真的HR图像。而判别模型则评估生成模型生成的HR图像是否真实,从而提高生成模型的准确度。 ESRGAN算法采用特殊的损失函数,即感知损失和自适应增强损失,来优化生成模型。感知损失通过VGG网络来计算生成模型和HR图像之间的差异,以此来调整生成模型的参数。自适应增强损失则用于动态调整生成模型的输出图像的细节层次,使生成模型产生更加真实的输出图像。 ESRGAN算法在图像增强领域取得了显著的成果,其生成的HR图像质量要比先前的SRGAN算法有了很大的提升。因此,ESRGAN算法在实际应用中具有广泛的前景,可以为图像处理领域提供更加高效、准确和可靠的方法。 ### 回答3: ESRGANEnhanced Super-Resolution Generative Adversarial Networks)是一种利用深度学习算法进行图像超分辨率的技术。其主要思路是基于GAN模型,通过训练一个生成器去从低分辨率图像生成高分辨率图像,同时以高分辨率的真实图片为样本来训练判别器模型,使其能够区分出生成器生成的图像是否为真实高清图像。 ESRGAN相对于传统的超分辨率算法,具有以下几个优点: 1.超分辨率效果更好。传统的超分辨率算法往往是基于一些数学模型进行插值运算,因此往往会出现图像模糊、失真等问题。而ESRGAN能够通过深度学习算法学习到更加准确的纹理特征,从而可以生成更为真实的高清图像。 2.可扩展性更强。ESRGAN的GAN模型可以通过增加网络深度、增加训练数据等方式对模型进行优化,从而提高图像超分辨率效果。 3.针对性更强。ESRGAN可以针对不同种类的图像进行训练,从而能够对各种类型的图像进行超分辨率处理,具有广泛的适用性。 4.易于应用。ESRGAN训练出的模型可以很方便地应用到实际生产环境中,对于需要进行图像超分辨率处理的应用场景具有很大的帮助作用。 虽然ESRGAN在图像超分辨率方面具有较为突出的优势,但其也存在一些缺点和挑战。比如需要大量的高清图像数据用于训练,需要考虑到训练时间和计算资源的问题;还需要解决一些局部纹理复杂的图像超分辨率问题。总之,ESRGAN是一种非常有潜力的图像超分辨率算法,将有助于推动图像处理技术的进一步发展。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值