SRDiff: Single Image Super-Resolution with Diffusion Probabilistic Models 论文笔记

最新推荐文章于 2024-10-10 07:53:07 发布

Unsunshine_Bigboy_?

最新推荐文章于 2024-10-10 07:53:07 发布

阅读量5.4k

点赞数 12

文章标签：论文阅读深度学习

本文链接：https://blog.youkuaiyun.com/weixin_46872424/article/details/128743894

版权

前言

由于大多数基于卷积神经网络或者Attention机制的超分辨模型大部分都是PSNR主导的，即用PSNR作为损失函数进行训练，这会导致超分辨图像过度平滑的问题，也就是超分辨后的图像高频信息不能很好保留，并且超分辨的图像较为固定，对于超分辨这种不适定问题来说不太合适。另外一种超分辨模型是基于GAN进行图像生成，会存在训练困难、模型不稳定的问题。于是论文提出了基于扩散模型的超分辨模型，具有特点如下：①对于一张输入低分辨率的图片可以产生多种高分辨率的结果，并且很好地保留了高频信息；②非常容易训练；③可以灵活地进行图像处理、内容融合、潜在空间内插。

网络模型

区别于DDPM的无条件生成模型，SRDiff是一种条件生成模型，需要以输入的低分辨率图像作为条件，然后生成高分辨率的图片。模型整体分为两个阶段，一个是训练阶段，另外一个是推理阶段，这个是和DDPM的原理是一样的。其中，只有噪声的估计这一步骤中需要神经网络，用的也是Unet的模型。

上图是SRDiff模型的整体结构，中间部分为Unet的噪声估计模型，具体分为如下两个阶段进行分析。

训练阶段

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Unsunshine_Bigboy_?

关注关注

12
点赞
踩
45

收藏

觉得还不错? 一键收藏
20
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Diffusion Models在超分辨率领域的应用

沉迷单车的追风少年

04-11

9819

Diffusion Models专栏文章汇总：入门与实战前言： GANs在Super-Resolution超分辨率大显身手，取得了很多令人兴奋的成果。作为最先进的生成式模型DDPM，不仅成功挑战了这一任务，而且在各方面的性能达到了SOTA。这篇博客就介绍一下diffusion models如何完成超分任务、背后的原理和实现方法。目录灵感来源：image-to-image任务任务挑战整体结构魔改的U-net 不同噪声水平添加级联DDPM 论文和代码参考：灵感来源.

Diffusion Models专栏文章汇总：入门与实战

热门推荐

沉迷单车的追风少年

02-21

3万+

《DiffusionModels与深度学习》专栏文章导航

20 条评论您还未登录，请先登录后发表或查看评论

[论文阅读] SegDiff: Image Segmentation with Diffusion Probabilistic Models

xiongxyowo的博客

09-20

8986

扩散概率方法被用于最先进的图像生成。在这项工作中，我们提出了一种扩展此类模型的方法，用于执行图像分割。该方法进行端到端的学习，而不依赖于预先训练的骨干。输入图像中的信息和当前估计的分割图中的信息是通过两个编码器的输出相加而合并的。然后，额外的编码层和解码器被用来迭代完善分割图，使用一个扩散模型。由于扩散模型是概率性的，它被多次应用，其结果被合并成最终的分割图。新方法在Cityscapes验证集、Vaihingen建筑分割基准和MoNuSeg数据集上产生了最先进的结果。

SRDiff: Single image super-resolution with diffusion probabilistic models 2022 Neurocomputing

qq_53826699的博客

09-06

1480

此外，理论和性能都表明，我们的方法能够分别解决面向 PSNR 的方法、GAN 驱动方法和基于流的方法中出现的过度平滑、模式崩溃和大量占用问题。因此，文章提出了一种新颖的扩散概率模型（SRDiff），旨在通过逐步将高斯噪声转化为超分辨率图像，从而生成多样且高质量的超分辨率结果，同时保持较小的模型规模和高效的训练过程。：在每个步骤中，条件噪声预测器使用当前的潜在变量、扩散时间步和通过LR编码器生成的隐藏条件，以生成更准确的输出。：GAN驱动的方法容易陷入模式崩溃，生成的图像缺乏多样性，无法覆盖所有可能的结果。

推荐开源项目：SRDiff - 单张图像超分辨率的扩散概率模型

gitblog_00088的博客

06-10

954

MedSegDiff: Medical Image Segmentation withDiffusion Probabilistic Model

weixin_45622568的博客

01-12

1064

随着深度学习技术的发展，越来越多的研究成功地将基于神经网络(NN)的模型应用到医学图像分割任务中，从流行的卷积神经网络(CNN)[11]到最近的视觉变压器(ViT)[3,22,12,28]。我们在三种不同图像模式的医学分割任务上验证了MedSegDiff，即眼底图像的视杯分割、MRI图像的脑肿瘤分割和超声图像的甲状腺结节分割。受DPM最近成功的启发，我们设计了一种独特的基于DPM的医学图像分割模型。据我们所知，在一般医学图像分割的背景下，我们首次提出了基于dpm的不同图像模态分割模型。

diffusion系列论文Image Super-Resolution via Iterative Refinement论文简述

qq_43210957的博客

12-30

1456

diffusion系列论文Image Super-Resolution via Iterative Refinement论文简述

2022图像翻译/扩散模型：UNIT-DDPM: UNpaired Image Translation with Denoising Diffusion Probabilistic Models

ssshyeong的博客

10-11

9540

我们提出了一种新的无配对图像间翻译方法，该方法使用去噪扩散概率模型而不需要对抗训练。我们的方法，UNpaired Image Translation with Denoising Diffusion Probabilistic Models(UNIT-DDPM)，训练一个生成模型，通过最小化另一个域条件下的去噪分数匹配目标，推断图像在两个域上的联合分布作为马尔可夫链。

CVPR 2021最全论文开放下载！附pdf下载链接！

中科院AI算法工程师的博客

06-18

1万+

CVPR 2021最全论文开放，附所有pdf下载链接！

生成式~扩散模型

whaosoft143ai的博客

02-02

1693

001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad

Diffusion Models, Image Super-Resolution And Everything: A Survey

步子哥的博客

01-04

1268

此外，论文还讨论了DMs在图像SR中存在的常见问题，并提出了值得注意的研究途径，以期为DMs在图像SR领域的未来发展提供见解。：论文概述了DMs的基本原理，并探讨了它们如何应用于图像SR，包括在潜在空间和波域的替代领域，以及在医疗成像、盲人脸恢复、大气湍流和遥感等领域的应用。：首先，论文提供了DMs在图像SR领域的全面概述，包括其基本原理、关键概念和与其他生成模型的关系。通过这些步骤，论文不仅提供了DMs在图像SR领域的深入分析，而且为研究人员和实践者提供了宝贵的指导，以解决当前的挑战并推动该领域的发展。

【图像超分辨率】SRFeat: Single Image Super-Resolution with Feature Discrimination 阅读笔记

weixin_43514766的博客

04-27

915

????Paper：SRFeat: Single Image Super-Resolution with Feature Discrimination ????Abstract 基于生成对抗网络（GAN）的SISR方法可以并合成逼真的高频纹理，达到较好的视觉效果。但是，这种基于GAN的方法的结果往往会引入与输入图像无关的，无意义的高频噪声。在本文中，我们提出了一种新的基于GAN的SISR方法，通过附加一个在特征域工作的额外的判别器，克服了传统GAN的限制，并产生了更真实的结果。通过在特征上区分合成图像和

Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild

qq_43800752的博客

04-17

1684

扩散模型在单图像超分辨率和其他图像到图像的转换任务上显示出了有希望的结果。尽管取得了成功，但在更具挑战性的盲超分辨率任务中，它们的表现并没有超过最先进的GAN模型，在该任务中，输入图像分布不均，退化程度未知。本文介绍了SR3+，一种基于扩散的盲超分辨率模型，建立了一种新的超分辨率模型。为此，我们提倡将自我监督训练与复合的、参数化的退化相结合，用于自我监督训练，并在训练和测试期间增加噪声条件。有了这些创新、大规模卷积架构和大规模数据集，SR3+大大优于SR3。

用Diffusion做超分

qq_43340256的博客

07-24

4852

https://blog.youkuaiyun.com/BAAIBeijing/article/details/128030480.(2) SR3:Image Super-Resolution via Iterative Refinement - 知乎. https://zhuanlan.zhihu.com/p/444218616.(1) Diffusion Models专栏文章汇总：入门与实战 - 知乎. https://zhuanlan.zhihu.com/p/566059899.

Probabilistic Diffusion for Interactive Image Segmentation论文笔记

dzm123lalala的博客

03-19

670

计算流程初始化参数KKK和α\alphaα KKK是k-means聚类数，用Eq.(7)计算初始概率p0p^0p0 c是像素的intensity feature 使用k-means算法分别对被标记成前景和背景的样本点进行聚类，得到聚类中心，K是聚类数，L=F/B大概是没有标签的像素吧？，为没有标签的像素分配类别用Eqs.(1,10,9)计算W，DF，W^\hat{W}W^ W=[Wi...

CVPR 2023 | 图像超分，结合扩散模型/GAN/部署优化，low-level任务，视觉AIGC系列

idol24的博客

06-16

3171

1、Activating More Pixels in Image Super-Resolution Transformer基于Transformer的方法在低级别视觉任务中，如图像超分辨率，表现出了令人印象深刻的性能。Transformer的潜力在现有网络中仍未得到充分发挥。为了激活更多的输入像素以实现更好的重建，提出了一种新的混合注意力Transformer(HAT)。它同时结合了通道注意力和...

SinSR：一步到位的扩散模型图像超分辨率技术

最新发布

gitblog_01000的博客

10-10

1891

SinSR：一步到位的扩散模型图像超分辨率技术 SinSR [CVPR 2024] SinSR: Diffusion-Based Image Super-Resolution in a Single Step 项目地址: http...

基于扩散的图像超分辨率模型：ResShift

十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎

12-14

9831

基于扩散的图像超分辨率(SR)方法由于需要数百甚至数千个采样步骤，导致推理速度较低。现有的加速采样技术不可避免地会在一定程度上牺牲性能，导致SR结果过于模糊。为了解决这个问题，我们提出了一种新颖有效的SR扩散模型，该模型显著减少了扩散步骤的数量，从而消除了推理过程中对后加速的需求及其相关的性能下降。

StableSR扩散超分辨率模型训练总结

u010100071的博客

10-18

2707

StableSR模型出自论文《Exploiting Diffusion Prior for Real-World Image Super-Resolution》，使用做自然界真实影像的。其数据增强部分参考，因此该模型也可以算是盲超分领域。文章的具体原理可以看论文详细了解，本篇主要介绍模型的训练过程。

palette: image-to-image diffusion models

06-28

### 回答1： Q: 什么是“调色板：图像到图像扩散模型”？ A: 调色板：图像到图像扩散模型是一种图像处理技术，它利用调色板（一组预定义的颜色）将一张图像转换成另一张图像。这种技术通常使用扩散模型，即在图像中扩散颜色以达到所需效果。这种方法可以应用于许多应用场景，例如图像增强和风格迁移。 ### 回答2： Palette是一个图像到图像扩散模型，它是一种生成模型，以像素为单位从输入图像中生成输出图像。使用深度学习技术，Palette能够自动生成与原始图像相似但不相同的图像，从而为艺术创意和设计领域提供了新的可能性。Palette基于卷积神经网络，其特点是细粒度的像素级平滑，使得生成的图像具有更高的真实感。 Palette的工作原理为，通过输入图像所包含的像素信息，生成一个低分辨率的初始图像，然后通过逐层的向上采样过程，不断提高分辨率并增加图像的细节信息。在这个过程中，Palette会对图像的颜色和纹理进行抽象和重新组合，从而产生出各种不同的图像效果。根据不同的训练数据和训练方式，Palette可以生成不同的风格和效果，比如艺术风格、手绘效果等。 Palette可以应用于许多领域，比如品牌设计、个人艺术创作、影视特效等。在品牌设计方面，Palette可以帮助品牌创造出独特的视觉效果，从而提高品牌认知度和影响力。在个人艺术创作方面，Palette为艺术家提供了全新的创作思路，他们可以使用Palette生成各种不同风格的图像，从而拓宽他们的创作领域。在影视特效方面，Palette可以帮助电影制作团队生成各种特殊效果的图像，从而使电影更为逼真和震撼。总之，Palette是一个生成模型，其特点是在像素级别上对图像进行平滑和重组，从而生成各种不同风格和效果的图像。Palette的应用领域非常广泛，如品牌设计、艺术创作和影视特效等。未来，Palette将继续发展，为我们带来更多的惊喜和创新。 ### 回答3： palette: image-to-image diffusion models是一种基于图像扩散模型的颜色调色板生成方法。这种方法旨在从给定的目标图像中提取一组相似的颜色，以便在新的图像中使用。这些颜色可以是某个图像的主要色调，也可以是某个颜色调色板中的色彩。 palette: image-to-image diffusion models方法的基本思路是通过使用图像扩散模型，使得每个像素都可以“扩散”到其周围的像素上。这种扩散能够按照某种规则，将相邻的像素颜色进行平滑化处理，从而能够生成更加自然的颜色渐变效果。使用这种方法可以很快地生成一个适合于目标图像的颜色调色板。 palette: image-to-image diffusion models方法的优点在于可以自动地从目标图像中提取相似颜色，并根据这些颜色生成一个合适的颜色调色板。这种方法可以避免手动选择颜色，从而节省时间和精力。此外，使用图像扩散模型的方法可以使所生成的颜色调色板更加平滑，同时可以保持颜色之间的相关性，从而更加适合于图像处理任务。需要注意的是，palette: image-to-image diffusion models方法是一种机器学习方法，需要使用具有相关背景知识的开发人员进行开发和调试。因此，在使用这种方法之前，需要对机器学习和图像处理等方面有一定的了解和掌握。同时，在实际应用中，也需要根据特定的需求对方法进行具体的调整和优化，以便获得最佳的效果。