《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》介绍及代码

最新推荐文章于 2024-10-24 21:57:01 发布
原创 最新推荐文章于 2024-10-24 21:57:01 发布 · 1.5k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #图像处理

本文介绍了2018年ECCV论文《ESRGAN：增强型超分辨率生成对抗网络》中的关键改进，包括移除BN层、使用相对鉴别器、感知损失优化和网络插值策略。RRDB结构的引入和优化显著提升了SRGAN的泛化能力和视觉质量。

RRDB是由2018年发表在ECCV的《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》提出的，该论文提出的方法在PIRM2018-SR Challenge中获得了第一名。代码。文章主要是在SRGAN的改动，SRGAN网络架构如下图所示：

在这里插入图片描述

论文的主要工作有三个：

1. 修改了SRGAN的网络架构，去掉了所有的BN层，将原始基础的残差块用提出的RRDB替换，如下图所示：
在这里插入图片描述
这样做的原因为：
（1）BN层在训练期间使用批次的均值和方差对特征进行归一化，在测试期间使用整个训练数据集的估计均值和方差。当训练和测试数据集的统计数据差异很大时，BN层往往引入不适的伪影，限制了泛化能力，去掉BN层减少了计算复杂度以及内存
（2）根据已有的知识可以发现，网络层数和连接越多，效果越好。RRDB引入了更深和更复杂的架构，具有residual-in-residual结构，不需要担心梯度爆炸等问题。在主路上使用密集块，提高了网络能力。

2. 使用相对判别器代替了标准的判别器。如下图所示：
在这里插入图片描述
对

最低0.47元/天 解锁文章
【图像超分】论文精读：ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
03-30 7391
超分辨率生成对抗网络(SRGAN)[1]是一项开创性的工作，能够在单幅图像超分辨率过程中生成逼真的纹理。然而，幻觉细节往往伴随着令人不快的伪影。为了进一步提高视觉质量，我们深入研究了SRGAN的三个关键组件——网络架构、对抗性损失和感知损失，并改进它们中的每一个以获得增强的SRGAN (ESRGAN)。特别是，我们引入了无批归一化的残差密集块(RRDB)作为基本网络构建单元。此外，我们借鉴了相对论GAN[2]的思想，让鉴别器预测相对真实性而不是绝对值。
ESRGAN: Enhanced 增强的Super-Resolution Generative Adversarial Networks
ysh的博客
05-24 3968
Abstract. Super-Resolution Generative Adversarial Network (SR-GAN)是一项开创性的工作，能够在单幅超分辨率图像中生成真实的纹理。然而，幻觉中的细节往往伴随着令人不快的伪影unpleasant artifacts。为了进一步提高视觉质量，我们深入研究了SRGAN的三个关键组成部分——网络结构，对抗性损失adversarial loss和感知损失perceptual loss，并对它们进行了改进，得到了增强型EnhancedSRGAN(E...
【paper】ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
Biyoner的博客
04-28 1887
本文发表于ECCV 2018 Workshop。主要针对SRGAN做的一个改进，在网络结构、对抗损失以及感知损失上分别进行了改动，在效果上有一定的提升。 0. 概述 基于生成对抗网络的图像超分辨率模型SRGAN能够生成更多的纹理细节。然而，它恢复出来的纹理往往不够自然，也常伴随着一些噪声。 为了进一步增强图像超分辨率的视觉效果，本文深入研究并改...
ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks, ECCV2018
heitang1802的博客
07-05 847
ESRGAN任务是超分，是ECCV18年的文章，曾在PIRM2018超分竞赛获得第一名，模型是在SRGAN基础上进行的改进；而SRGAN(CVPR17)是最早用GAN来做超分的文章，其2个特色分别是： （1）生成器使用残差块。使用残差结构主要是由于设计的网络比较深，为了保证梯度信息的有效传播，增强网络稳定性。 （2）相较同行较早使用perceptual loss，是不是它最早提出的有待考证。 回到ESRGAN，它在SRGAN基础上把模型的几个组成成分都改了：（1）生成器结构改进。（2）判别器改用.
ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
sinat_36462614的博客
07-03 746
论文地址： https://arxiv.org/abs/1809.00219 摘要 ESRGAN是在SRGAN的基础上进行改进的，主要改进SRGAN中的三个部分：网络结构，对抗损失和感知损失。其中，1.用没有BN层的 Residual-in-Residual Dense Block (RRDB) 作为基本的网络构建单元。2.引入relativistic GAN（RaGAN）的思想，让判别器预测相对...
ESRGAN（ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks）超分辨网络
热门推荐
weixin_46515047的博客
12-22 1万+
Contents1 Introduction2 Related Work3 Proposed Methods3.1 Network Architecture3.2 Relativistic Discriminator3.3 Perceptual Loss3.4 Network Interpolation4 Experiments4.1 Training Details4.2 Qualitative Results4.3 Ablation Study4.4 Network Interpolation4.5
[论文笔记]ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
weixin_42105640的博客
08-13 1275
[论文笔记]ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks 解析1 解析2 代码 本篇论文是基于SRGAN改进而来到,相比于SRGAN它在三个方面进行了改进： 1.网络的基本单元从基本的残差单元变为Residual-in-Residual Dense Block (RRDB)； 2.GAN网络改进为Relativ...
（ECCV2018）ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
qq_20777119的博客
06-11 418
ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks 项目地址：https://github.com/xinntao/ESRGAN abstract 1、简介 2、相关工作 在SRGAN的基础上进行改进。分别改进了网络结构、对抗损失（adversarial loss）和感知损失。 具体的讲，与SRGAN的区别为： 1、引入了残差稠密模块，并去掉了BN层。 2、借用了ralativistic GAN的思想，让判别器...
ESRGAN: Enhanced Super-resolution Generative Adversarial Netwoks
qq_41826940的博客
08-31 371
改进判别器，判断“⼀个图像是否⽐另⼀个图像更真实”，⽽不是“⼀个图像是真实的还是假的”。SR-MINC损失，基于⽤于材料识别的微调VGG⽹络 → 纹理感知。无BN层RDDB块，残差缩放，较小初始化，相对GAN → 精细纹理。基于GAN的⽅法会产⽣清晰的边缘和更丰富的纹理，但会出现伪影。激活后VGG改为激活前VGG → 好的清晰边缘，感知质量。，删除批量归一化（BN）→提升容量，简化训练。纯PSNR导向的⽅法会输出卡通⻛格的模糊图像。损失采用激活前特征 → 准确亮度，真实纹理。更⾃然的纹理，更少的伪影。
esrgan_ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks【阅读笔记】
weixin_42458937的博客
02-23 251
针对SRGAN提出的几点改进，获得了PIRM2018视觉质量的第一名。首先是使用去掉BN层的Residual in Residual Dense Block作为网络的basic unit。并且使用residual scling 和 smaller initialization帮助训练更深的网络。第二点改进是使用了Relativistic Discriminator来预测真实图像$x_r$比生成图像...
ESRGAN：基于GAN的增强超分辨率方法（附代码解析）
Paper weekly
01-18 9835
作者丨左育莘学校丨西安电子科技大学研究方向丨计算机视觉之前看的文章里有提到 GAN 在图像修复时更容易得到符合视觉上效果更好的图像，所以也是看了一些结合 GAN 的图像修...
ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks 翻译
黄笳倞的博客
01-13 1万+
ESRGAN：增强型超分辨率生成对抗网络 项目地址：https://github.com/xinntao/BasicSR 摘要 超分辨率生成对抗网络（SR GAN）[1]是一项开创性的工作，能够在单图像超分辨率期间生成逼真的纹理。 然而，幻觉细节通常伴随着令人不快的伪影。 为了进一步提高视觉质量，我们深入研究了SRGA...
ESRGAN - Enhanced Super-Resolution Generative Adversarial Networks论文翻译——中文版
SnailTyan
05-22 1334
文章作者：Tyan 博客：noahsnail.com  |  优快云  |  简书 声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！ 翻译论文汇总：https://github.com/SnailTyan/deep-learning-papers-translation ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks 摘要 超分辨率生成对抗网络(SR-GAN)[1]是一
编译原理语义分析代码_ESRGAN原理分析和代码解读
weixin_39599705的博客
11-27 1380
原理分析：ESRGAN是香港中文（深圳）本科生在eccv2018的文章，该方法在PIRM218-SR比赛取得冠军。论文分析SRGAN能够生成更多的纹理细节，但它纹理往往不够自然，也常伴随着一些噪声。然后深入研究并改进了SRGAN的三个关键部分——网络结构、对抗损失函数和感知损失函数。具体就是引入了一个新网络结构单元RRDB （Residual-in-Residual Dense Block）；借鉴...
二元函数图像生成器_[图像超分辨与GAN]ESRGAN翻译理解及部分代码解析
weixin_39528029的博客
11-24 1853
之前看的文章里有提到GAN在图像修复时更容易得到符合视觉上效果更好的图像，所以也是看了一些结合GAN的图像修复工作。这篇文章，ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks发表于ECCV 2018 的 Workshops，在SRGAN的基础上进行了改进，包括改进网络的结构，判决器的判决形式，以及更换了一个用于计算感...
ESRGAN超分辨网络
不要给自己设限，尝试更多可能（思所向 皆可往）
04-19 3637
ESRGAN-进击的超分辨率复原 - 知乎研究目的：通过改进SRGAN（Super-Resolution Generative Adversarial Network）来提高视觉质量。ESRGAN是基于SRGAN改进而来到,相比于SRGAN它在三个方面进行了改进1、改进了网络结构、对抗损失、感知损失2、引入Residual-in-Residual Dense Block（RRDB）3、使用激活前的VGG特征来改善感知损失。
ESRGAN: 增强型超分辨率生成对抗网络
码灵分析
12-20 3467
译者语：最近在老影片复原中常用到的超分辨率算法 摘要 Abstract 超分辨率生成对抗网络（SR GAN）[1]是一项开创性的工作，它能够在单图像超分辨率任务中生成逼真的纹理。然而，虚幻的细节通常伴随着令人不快的伪影。 为了进一步提高视觉质量，我们深入研究了SRGAN 网络架构，对抗性损失和感知损失这三个关键组成部分，并对其中每一项都进行了改进，产生了一个增强型SRGAN（ESRGAN）。 特别需要注意的是，我们在没有使用批量标准化的情况下引入RRDB Residual-in-Residual Den
ESRGAN/ESRGAN+: Enhanced Super-Resolution Generative Adversarial Networks 论文笔记
weixin_46872424的博客
02-04 972
本文基于SRGAN的基础上提出了一种新的GAN解决超分辨问题的方法ESRGAN，之后又有在ESRGAN基础上改进的ESRGAN+，在网络框架中其实并不复杂，但是其中一些对框架提出的一些细节非常值得斟酌，包括移除BN层、在激活层之前计算感知损失、辨别器中使用相对概率、通过模型的插值来去噪等，都为后面的模型细节提出了非常好的思路。
【论文阅读】ESRGAN
最新发布
Winkyyyyyy的博客
10-24 1776
《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》（ESRGAN：增强超分辨率 生成对抗网络）
esrgan: enhanced super-resolution generative adversarial networks
06-28
### 回答1： ESRGAN是增强型超分辨率生成对抗网络的缩写，它是一种深度学习模型，用于将低分辨率图像转换为高分辨率图像。它使用生成对抗网络（GAN）的方法，通过训练生成器和判别器来提高图像的质量。ESRGAN是目前最先进的超分辨率算法之一，它可以生成更加真实、细节更加丰富的高分辨率图像。 ### 回答2： ESRGAN是一种增强超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks）的算法，它采用了图像增强技术和深度学习的方法，可以将低分辨率（LR）的图像转化为高分辨率（HR）的图像。该算法主要的贡献在于，它可以生成更加逼真的HR图像，从而更好地应用于实际的图像处理领域。 该算法主要是由两个子模型组成的，一个是生成模型（Generator），另一个是判别模型（Discriminator）。生成模型通过学习HR图像和相应的LR图像之间的关系，生成更加逼真的HR图像。而判别模型则评估生成模型生成的HR图像是否真实，从而提高生成模型的准确度。 ESRGAN算法采用特殊的损失函数，即感知损失和自适应增强损失，来优化生成模型。感知损失通过VGG网络来计算生成模型和HR图像之间的差异，以此来调整生成模型的参数。自适应增强损失则用于动态调整生成模型的输出图像的细节层次，使生成模型产生更加真实的输出图像。 ESRGAN算法在图像增强领域取得了显著的成果，其生成的HR图像质量要比先前的SRGAN算法有了很大的提升。因此，ESRGAN算法在实际应用中具有广泛的前景，可以为图像处理领域提供更加高效、准确和可靠的方法。 ### 回答3： ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）是一种利用深度学习算法进行图像超分辨率的技术。其主要思路是基于GAN模型，通过训练一个生成器去从低分辨率图像生成高分辨率图像，同时以高分辨率的真实图片为样本来训练判别器模型，使其能够区分出生成器生成的图像是否为真实高清图像。 ESRGAN相对于传统的超分辨率算法，具有以下几个优点： 1.超分辨率效果更好。传统的超分辨率算法往往是基于一些数学模型进行插值运算，因此往往会出现图像模糊、失真等问题。而ESRGAN能够通过深度学习算法学习到更加准确的纹理特征，从而可以生成更为真实的高清图像。 2.可扩展性更强。ESRGAN的GAN模型可以通过增加网络深度、增加训练数据等方式对模型进行优化，从而提高图像超分辨率效果。 3.针对性更强。ESRGAN可以针对不同种类的图像进行训练，从而能够对各种类型的图像进行超分辨率处理，具有广泛的适用性。 4.易于应用。ESRGAN训练出的模型可以很方便地应用到实际生产环境中，对于需要进行图像超分辨率处理的应用场景具有很大的帮助作用。 虽然ESRGAN在图像超分辨率方面具有较为突出的优势，但其也存在一些缺点和挑战。比如需要大量的高清图像数据用于训练，需要考虑到训练时间和计算资源的问题；还需要解决一些局部纹理复杂的图像超分辨率问题。总之，ESRGAN是一种非常有潜力的图像超分辨率算法，将有助于推动图像处理技术的进一步发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值