CVPR2020超分辨率重建论文阅读笔记

最新推荐文章于 2025-04-17 18:06:11 发布

full_adder

最新推荐文章于 2025-04-17 18:06:11 发布

阅读量2k

点赞数

分类专栏：超分辨率重建文章标签：深度学习机器学习

本文链接：https://blog.youkuaiyun.com/full_adder/article/details/114669964

版权

2 篇文章

订阅专栏

为什么要进行超分辨率重建：
1.视觉效果不吸引人
2.影响下游方法使用，如分割等
3.电子显示产品分辨率提高，需要更高分辨率的图像
超分辨率重建问题面临难点和存在问题如下：
1.病态问题：一对多，同样的LR图像对应无数解
2.MSE指标可能导致结果平滑，且没有关注纹理关系信息
3.下采样方式常为预设，不能够适配现实情况
4.成对低高分辨率图像难以获得

一. PULSE：

文章 PLUSE:Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
链接 https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2003.03808
代码 github.com/adamian98/pu
贡献：
1.一个新的超分辨率重建的处理范式。不同于以往对所得的多种重建HR结果平均处理获得最终结果的做法，而是令产生的HR图像能够降采样获得正确的输入LR图像。
2.一种解决超分辨率重建任务的新方法：无监督GAN。
3.高维高斯先验下隐空间探索的一种原始方法。
方法：
1.损失函数上的改进：
将损失函数由 $\int_{M\cap R}||I_{HR}-I_{SR}||^p_pdP(I_{HR})$ ，即令生成的 $I_{SR}$ 与标签信息 $I_{HR}$ 整体上更接近，在整个可行隐空间上进行积分
改为： $||DS(I_{SR})-I_{LR}||_p<\epsilon$ ，即令生成后的数据下采样结果更接近低分辨率结果，以避免平均导致的平滑问题。
2.隐空间探索
采用，GAN网络来生成图像近似M中图像，为了让结果更像，对生成模型的隐变量添加统一的先验约束：
$L'=\sqrt dS^{d-1}$

文章 Closed-Loop Matters: Dual Regression Networks for Single Image Super-Resolution
链接 https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2003.07018
代码 https://link.zhihu.com/?target=https%3A//github.com/guoyongcs/DRN
贡献：
1.一个对偶网络框架
2.研究了一个更一般的超分辨率案例，能够更好适应现实数据
3.分别在成对与不成对数据上进行试验
方法
1.成对数据的对偶算法
P：低分辨到高分辨映射
D：高分辨到低分辨映射
$S_P$ :成对的训练数据，x低，y高
损失函数： $\sum^N_{i=1} L_P(P(x_i),y_i)+\lambda L_D(D(P(x_i)),x_i)$
1.不成对数据的对偶算法
网络结构

文章 Meta-Transfer Learning for Zero-Shot Super-Resolution
链接 https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2002.12213
代码 https://link.zhihu.com/?target=https%3A//github.com/JWSoh/MZSR
贡献：
1.一种基于元学习的训练方案，学习了一个有效初始权重并用于在无监督设置下快速适应新任务
2.充分利用了外部样本与内部样本
3.快速，灵活，轻量级，在元测试时间无监督，适合在现实中应用
核心思想：为零样本方法ZSSR与元学习算法MAML的结合，故在此先对背景知识进行介绍。

由论文 “Zero-Shot” Super-Resolution using Deep Internal Learning 提出，发表于CVPR2017,是第一个提出的基于CNN网络的无监督SR算法。

立足点：网络通常只在测试样本与训练样本情况或环境相似的的情况下表现好。
贡献：
1.是第一个提出的基于CNN网络的无监督SR算法
2.它可以处理非理想的成像条件，以及各种各样的图像和数据类型（即使第一次遇到）。
3.它不需要预训练，并且可以使用少量的计算资源来运行。
4.理论上适应任何大小与纵横比的图像
5.在测试时适应已知的未知的成像条件
核心思想：“the internal entropy of patches inside a single image is much smaller than the external entropy of patches in a general collection of natural images”，即充分利用单幅图像内有规律性质的重复图块来实现SR图片重构。
网络结构
使用简单的全卷积网络，8个隐藏层，没个隐层层64个通道，使用Relu作为激活函数，网络的输入图片会被插值到输出图片大小，网络只学习插值的LR和相应的HR parent，使用L1损失函数，Adam优化器，初始学习率是0.001。
方法
1.预先训练一个外部网络
2.对测试图像进行扩充，下采样作为输入，进行训练。最后将获得的网络用于测试图像