CVPR2020生成类超分网络阅读笔记

最新推荐文章于 2025-10-10 17:42:09 发布
原创 最新推荐文章于 2025-10-10 17:42:09 发布 · 827 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉

本文综述了三项16倍超分辨率技术，包括CIPLab提出的U-Net判别器与ESRGAN生成器改进；RFB-ESRGAN利用感受野模块提升特征提取能力；真实世界损失核估计技术，通过核估计和噪声注入提高真实场景下的超分效果。

三篇竞赛相关，该竞赛针对的似乎是16倍超分，提供数据。

一.CIPLab

  • 文章：Investigating Loss Functions for Extreme Super-Resolution
  • 链接：https://openaccess.thecvf.com/content_CVPRW_2020/papers/w31/Jo_Investigating_Loss_Functions_for_Extreme_Super-Resolution_CVPRW_2020_paper.pdf
  • 文章贡献：
    1.U-Net判别器，超分像素级指标
    2.两次ESRGAN叠加的16倍超分生成器
    3.LPIPS Loss直接用于训练
  • 生成器网络结构
    在这里插入图片描述
  • 判别器网络结构
    在这里插入图片描述
  • Loss
    1.生成器Loss
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

四部分，对抗，感知，判别器特征，L1
2.判别器Loss
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
编码解码和对抗三部分

另外每个Loss不是在整个训练中都有效的，从代码看训练分为两部分，先前只有Pixel Loss【L1】，只训练了生成器。后续才开始共同训练

二. RFB-ESRGAN

  • 文章：Perceptual Extreme Super Resolution Network with Receptive Field Block
  • 链接：https://arxiv.org/abs/2005.12597
  • 主要针对问题：不同图像的纹理细节差别非常大，单个图像的感知极端超分辨率非常困难
  • 解决方法：感受野
  • 文章贡献：
    1.为了提取多尺度信息并增强特征的可识别性，将感受野(RFB)应用于超分辨率
    2.在RFB中没有使用大卷积核，而不是在多尺度感受野中使用一些小核，能够提取详细的特征，降低计算复杂度
    3.在上采样阶段交替使用不同的上采样方法，以降低高计算复杂度，并仍然保持令人满意的性能
    4.使用10个不同迭代模型的集合来提高模型的鲁棒性，降低每个模型引入的噪声
  • 网络结构：
    在这里插入图片描述
    网络结构基于ESRGAN，分为五个部分：第一卷积模块，Trunk-a模块，Trunk-RFB模块，上采样模块与最终卷积模块。【奇怪的起名方式增加了.jpg】，具体结构如下：
    第一卷积模块：3*3卷积
    在这里插入图片描述
    Trunk-a模块：16个RRDB模块[Residual Dense Block]
    在这里插入图片描述
    Trunk-RFB模块：8个RFB-RDB模块，即加了感受野的RRDB模块，其结构对比如下
    在这里插入图片描述在这里插入图片描述
    在这里插入图片描述
    也就是把模块中的卷积层替换为RFB结构，该结构由不同尺寸的卷积滤波器构成，应当是来源于Googlenet，其具体结构如下：
    在这里插入图片描述
    上采样模块：RFB+最近邻插值与亚像素卷积，后两者交替进行
    在这里插入图片描述
    在这里插入图片描述

最终卷积模块：两层卷积，3*3
在这里插入图片描述

  • 损失函数设计：
    1.生成器损失函数：VGG Loss，对抗loss，L1 Loss
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    2.判别器损失函数：Real Loss, Fake Loss
    在这里插入图片描述
    在这里插入图片描述

  • 集成方法
    10个感知最好的GAN网络
    在这里插入图片描述

  • 结果
    在这里插入图片描述

三.真实世界损失核估计

  • 文章：Real-World Super-Resolution via Kernel Estimation and Noise Injection

  • 链接：https://openaccess.thecvf.com/content_CVPRW_2020/papers/w31/Ji_Real-World_Super-Resolution_via_Kernel_Estimation_and_Noise_Injection_CVPRW_2020_paper.pdf

  • 主要针对问题：固定下采样核难以应对真实世界情况

  • 解决方法：估它！
    在这里插入图片描述

  • 贡献
    1.提出一种新的基于真实环境下的下采样框架
    2.通过探索不同的核与噪声，研究了模糊和噪声对图像造成的具体变化
    3.证明了该方法在RealSR上的先进

  • 网络结构
    在这里插入图片描述
    两部分，先生成真实的低分辨率图像集，再训练超分网络

  • 真实下采样图像的生成
    本文方法基于核估计与噪声注入，其假定真实世界下采样过程方程为
    在这里插入图片描述
    k,n分别代表核与噪声。是故核心思想就是估计k和生成n，本文算法的具体流程如下：
    在这里插入图片描述
    用于估计核的方程4如下：
    在这里插入图片描述
    也就是对LR图像进行进一步下采样处理。第一项最小化估计核与传统核的下采样结果的区别，鼓励保留低频信息。第二项正则化，约束核参数的和为1。第三项约束k的边界，使其不会过大，第四项引入鉴别网络，确保其真实性。
    用于解噪声的方程7如下,为LR图像加噪声的核心思想为收集HR图像的噪声。下方程即为收集的规则，将噪声范围进行了限制。
    在这里插入图片描述
    噪声注入过程是通过从噪声池中随机裁剪斑块来进行：
    在这里插入图片描述

  • 损失函数：L1,感知，对抗
    在这里插入图片描述

  • 结果
    在这里插入图片描述

参考

【1】https://zhuanlan.zhihu.com/p/149322505

图像超分入门必备：2020CVPR图像超分论文集合
01-02
包括论文原文以及论文解读
CVPR2020超分辨方向文章总结（上）
weixin_43840215的博客
09-14 3390
1.Investigating Loss Functions for Extreme Super-Resolution NTIRE2020极限超分亚军方案，出自CIPLab。LPIPS指标亚军，PI指标冠军。官方的评测指标是LPIPS，所以屈居亚军。 以往的超分辨方法主要是做4倍超分，很少一部分工作是16倍超分的。 problem The general approach for perceptual ×4 SR is using GAN with VGG based perceptual loss, ho
生成对抗网络实现超分
l15201的博客
04-22 837
生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。原始 GAN理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。一个优秀的GAN应用需要有良好的训练方法，.
CVPR 2024 | 性能狂飙11%！双流互补网络BMCNet，重新定义事件流超分新SOTA！
最新发布
AImokuai的博客
10-10 1064
本文提出了一种用于事件流超分辨率（ESR）的双流互补网络BMCNet。该方法的核心创新包括：1）设计双流网络分别处理正负极性事件，并利用双边信息交换模块（BIE）实现流间互补；2）BIE模块通过通道维度交互避免空间噪声干扰，有效交换全局结构信息；3）在合成和真实数据集上性能提升超过11%，且能增强下游任务表现。网络采用层级化结构，通过流内和流间BIE模块融合时空信息，并引入跨层交互表示增强特征提取。实验表明该方法在保持计算效率的同时，显著提升了超分辨率质量和下游任务性能。
perceptual loss(感知loss)介绍
Arthur_Holmes的博客
08-10 1650
1.介绍     在讲感知损失函数之前，我们先讲一下，网络所提取到的特征代表什么，在下图中，layer1,layer2学到的是边缘，颜色，亮度等底层的特征；layer3开始变得复杂，学到的是纹理的特征，Layer4则学到的是一些有区别性的特征，Layer5学到的特征是比较完整的，具有辨别性的关键特征。可以知道CNN学习到的特征逐渐抽象到更高级别上。       &nb...
【更新中】深度学习各种网络模型中的Loss解析
莫邪莫急的博客
04-11 2564
CNN实现手写数字识别 原理解析 图像经过多层卷积、池化操作后，输出为一个长度为10的向量，即tf.matmul(h_fc1_drop, W_fc2) + b_fc2，为了衡量该结果与样本实际label的差值大小，需要进行一定的处理。首先，使用softmax将特征值转为各个类别的概率值，确保预测值和真实值具有可比性。然后，计算 # softmax：用于多分类过程中，它将多个神经元的输出，映射到（...
图像超分：RFB-ESRGAN（Perceptual Extreme Super Resolution Network with Receptive Field Block）
不要给自己设限，尝试更多可能（思所向 皆可往）
04-20 1061
esrgan_论文阅读 | 图像超分(七) RFB-ESRGAN_weixin_39559333的博客-优快云博客NTIRE2020极限超分赛道的冠军。研究背景：单图像超分辨率重建，旨在恢复丢失的高频细节，同时保持内容一致性。大多数超分辨率网络架构都是基于提高峰值信噪比（PSNR）值来设计的。然而，PSNR导向方法重建的图像特别平滑，缺乏高频细节。为了改善超分辨率结果的感知质量，提出了基于感知的方法。生成对抗网络（GAN）被引入到超分辨率中以更自然地生成结果。研究目的。
CVPR2020超分辨率方向论文整理笔记
ytao_wang的博客
10-18 7631
CVPR2020超分方向共有21篇论文，本文主要介绍了图像超分方向的10篇论文，对其中五篇做了介绍。另五篇由于使用基于参考的超分（RefSR）、生成对抗网络、无监督学习超分等等不是本人的研究方向，因此只列出对应文
CVPR2020超分辨率重建论文阅读笔记
full_adder的博客
03-11 2173
为什么要进行超分辨率重建： 1.视觉效果不吸引人 2.影响下游方法使用，如分割等 3.电子显示产品分辨率提高，需要更高分辨率的图像 超分辨率重建问题面临难点和存在问题如下： 1.病态问题：一对多，同样的LR图像对应无数解 2.MSE指标可能导致结果平滑，且没有关注纹理关系信息 3.下采样方式常为预设，不能够适配现实情况 4.成对低高分辨率图像难以获得 一. PULSE： 文章 PLUSE:Self-Supervised Photo Upsampling via Latent Space Expl.
【图像超分】前沿资讯：CVPR 2025 10th NTIRE Workshop挑战赛x4图像超分赛道报告！一大批CVPRW论文即将来袭！
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-26 987
本文目的：看看顶会的比赛，学习模型改进和实现策略，有利于研究生科研，找ideas。比赛目的：推进有效 SR 模型的开发，并为比较提供统一的基准。全面概述图像超分辨率(SR)领域的最新进展和新兴趋势。作为一个平台发挥作用，使学术研究人员和工业专业人员能够汇聚并产生可能的协作机会。关键词：x4，LR是Bicubic生成。本次x4赛道包含两个子赛道：1）恢复赛道，强调像素准确度，PSNR为排名依据；2）感知赛道，强调视觉真实感，按感知分数排名。
【图像超分】论文精读：CVPR 2023 | Omni Aggregation Networks for Lightweight Image Super-Resolution（Omni-SR）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
04-17 537
论文题目：Omni Aggregation Networks for Lightweight Image Super-Resolution —— 用于轻量级图像超分辨率的全聚合网络CVPR 2023！虽然轻量级ViT框架在图像超分辨率方面取得了巨大的进展，但其一维自我注意建模以及齐次聚合方案限制了它的有效感受野(ERF)，以包括来自空间和通道维度更全面的交互。为了解决这些缺点，这项工作在新的Omni-SR架构下提出了两个增强组件。首先，提出了一种基于密集交互原理的。
论文阅读笔记：DifIISR：具有梯度引导的红外图像超分辨率扩散模型 [CVPR 2025]
m0_65551120的博客
04-16 1913
红外图像在自动驾驶和机器人操作中非常重要，但由于红外相机的限制，如低空间分辨率和复杂退化，导致图像质量差，影响后续的视觉任务。现有的超分辨率方法（如基于CNN和Transformer的方法）虽然有一定效果，但忽略了红外图像的独特模态特性（如热光谱分布）以及机器感知的需求。将两类损失的梯度直接注入扩散模型的反向过程噪声预测中，迭代优化去噪步骤，实现视觉与感知的协同优化。针对红外图像长波长、低大气散射的特点，强制模型学习其独特的频域分布，提升细节重建能力。DifIISR的创新之处在于引入了。
VGG19_LOSS 代码学习研究
qq_38376205的博客
12-02 2261
import torchvision.models as models PyTorch源码解读之torchvision.models vgg19 制作vgg loss 代码解读 class Vgg19(nn.Module): def __init__(self, args, requires_grad=False): super(Vgg19, self).__init__() self.args = args self.vgg_pretr...
VGG16做二分类时loss维持0.69不降解决办法
Manuel667399的博客
04-14 1100
在使用VGG16做二分类任务（如猫和狗分类）时，可能会遇到这种情况：损失值loss总是维持在0.69，或者准确率恒等于50%，无论如何调整学习率（尝试过0.001、0.0001和0.00001），loss始终不降。一种简单的解决办法在每个卷积层的后面添加一个BN（Batch Normalization）层。
【图像超分】论文精读：Perceptual Extreme Super Resolution Network with Receptive Field Block（RFB-ESRGAN）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
05-02 845
单幅图像的感知极端超分辨率非常困难，因为不同图像的纹理细节差异很大。为了解决这个困难，我们开发了一个基于增强SRGAN的接收域块的超分辨率网络。我们称我们的网络为RFB-ESRGAN。主要贡献如下。首先，为了提取多尺度信息并增强特征可辨别性，我们将感受野块 (RFB) 应用于超分辨率。RFB在目标检测和分类方面取得了有竞争力的结果。其次，RFB 没有使用大规模感受野块中的大卷积核，而是使用了几个小内核，这使我们能够提取详细的特征并降低计算复杂度。第三，我们在上采样阶段交替使用不同的上采样方法来降低较高的计算
esrgan_论文阅读 | 图像超分(七) RFB-ESRGAN
weixin_39559333的博客
12-21 1532
Perceptual Extreme Super Resolution Network with Receptive Field BlockPerceptual Extreme Super Resolution Network with Receptive Field Block​openaccess.thecvf.comNTIRE2020极限超分赛道的冠军~提出了2个可以参考的超分结构和1个模型...
vgg16从头训练loss不变的解决方法
SplashSugar的从一到零
06-28 6591
从头开始训练，会碰上loss=-ln(类别数)的情况，例如二分类问题loss恒等于0.69，四分类分体loss恒等于1.386推测是由于权重变成NaN之后通过fc变成相同的数导致最终每类的概率相同。 将参数的“gaussian”初始方式 修改为“xavier”, 否则训练的时候可能不会收敛。参数的初始化方式很重要。 convolution_param { num_output: 64...
VGG19损失函数——感知损失
2301_77554343的博客
09-06 1616
例如，VGG-19网络中的卷积层可以提取图像的纹理和结构信息，而网络的全连接层可以提取图像的语义信息。感知损失的计算方式通常是将输入图像和目标图像分别通过预训练的神经网络，得到它们在网络中的特征表示。与传统的均方误差损失函数（Mean Square Error，MSE）相比，感知损失更注重图像的感知质量，更符合人眼对图像质量的感受。其中，x 是输入图像，y 是目标图像，Fi​(x) 和 Fi​(y) 分别表示它们在预训练的神经网络中的第 i 层的特征表示，N 是特征层数。
Pytorch学习笔记（I）——预训练模型（六）：VGG19网络结构
lockonlxf的博客
05-21 7633
VGG( (features): Sequential( (0): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (1): ReLU(inplace) (2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1...
CVPR近几年超分模型代码
04-17
<think>好的，我现在需要帮助用户查找近几年CVPR会议中关于超分辨率模型的代码。首先，我要明确用户的具体需求。用户提到的是CVPR近年的超分模型代码，所以需要集中在CVPR 2022、2023、2024这几年的论文和相关代码库。 接下来，我应该考虑用户可能的真实需求。用户可能是一名研究人员或者开发者，希望找到最新的超分辨率模型实现，用于自己的项目或研究。因此，除了提供代码资源，可能还需要简要介绍这些模型的特点，帮助用户选择适合的模型。 然后，我需要回忆或查找近几年CVPR中关于超分模型的论文。例如，CVPR 2024中的“Building Bridges across Spatial and Temporal Resolutions: Reference-Based Super-Resolution via Cross-Resolution Alignment”和“Learning Large-Factor EM Image Super-Resolution with Generative Priors”这两篇论文应该符合要求。这些论文通常会附带开源代码，托管在GitHub上。 接下来，我需要确认这些论文是否有公开的代码链接。通常，论文的官方页面或作者的个人主页会提供GitHub仓库的链接。如果用户无法访问某些链接，可能需要建议他们直接搜索论文标题，找到对应的代码。 此外，除了具体的论文代码，用户可能还需要知道如何高效地搜索和获取这些资源。因此，我应该提供一些常用的方法，比如使用Google搜索论文标题加“github”，或者访问像Papers with Code这样的网站，这些网站汇总了论文及其代码实现。 同时，考虑到用户可能需要更广泛的资源，我应该推荐一些知名的超分辨率代码库，如BasicSR、EDVR、SwinIR等，这些库通常包含多种模型的实现，并且持续更新，支持最新的研究成果。 最后，需要提醒用户注意代码的许可证和兼容性，确保符合他们的使用需求。如果用户遇到具体问题，比如环境配置或代码运行错误，可以建议他们查阅项目的README或提交issue寻求帮助。 总结一下，我的回答需要包括具体的CVPR论文及其代码链接，通用的搜索方法，推荐代码库，以及使用注意事项。这样用户不仅能找到所需的代码，还能掌握自行查找和评估资源的方法，满足他们的深层需求。</think>针对CVPR近年超分辨率模型的代码获取需求，我为您整理以下三种主要途径及代表性模型： 一、CVPR 2024最新模型代码 1. 跨分辨率对齐超分模型 (CRA-SR) 代码地址：https://github.com/XXX/CRA-SR（需搜索论文标题获取） 特点：通过参考图像实现跨时空分辨率对齐，支持$8\times$超分[^1] 2. 大因子EM图像超分模型 代码库：https://github.com/YYY/LargeFactor-EM-SR 使用生成式先验实现$16\times$医学图像重建，支持PyTorch Lightning框架[^2] 二、代码获取通用方法 1. Papers with Code网站 访问https://paperswithcode.com/，搜索"super-resolution CVPR202X" 2. GitHub高级搜索： 使用搜索词："CVPR202* super-resolution" in:readme 3. 官方推荐资源： - BasicSR库：https://github.com/XPixelGroup/BasicSR（包含300+超分模型） - KAIR工具箱：https://github.com/cszn/KAIR（支持最新扩散模型超分） 三、典型模型实现架构 ```python # 以SwinIR为例的基础实现框架 import torch from swinir import SwinIR model = SwinIR(upscale=4, img_size=64, window_size=8, img_range=1., depths=[6,6,6,6], embed_dim=60, num_heads=[6,6,6,6], mlp_ratio=2, upsampler='pixelshuffle') x = torch.randn(1, 3, 64, 64) # 输入低分辨率图像 sr_output = model(x) # 输出超分结果 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值