DiffIR: Efficient Diffusion Model for Image Restoration

最新推荐文章于 2025-04-16 15:27:04 发布
最新推荐文章于 2025-04-16 15:27:04 发布
阅读量1.1k 收藏 16
点赞数 17
分类专栏： Super Resolution 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44994838/article/details/139629715
版权

问题引入

  • IR任务和image synthesis任务不同点是IR任务本身有一个很强的低质量图片作为先验，所以可以不完全遵循图片生成的范式，本文主要在compact的IPR空间进行DM；
  • 本文提出的模型分为三个部分，1)CPEN(compact IR prior extraction network)来得到IPR(IR prior representation)，这个作为回归模型的指导信息；2)DIRformer回归模型，类比为decoder；3)DM来通过LQ图片得到IPR
  • 训练分为两个stage，首先第一个stage训练CPEN和DIRformer，此时CPEN输入的是高质量图片；第二个stage使用的IPR是DM得到的；

methods

在这里插入图片描述

  • stage1: 训练CPEN和DIRformer，首先将gt和LQ concat到一起，然后经过pixelunshuffle得到CPEN的输入，输出IPR Z = C P E N S 1 ( P i x e l U n s h u f f l e ( C o n c a t ( I G T , I L Q ) ) ) , Z ∈ R 4 C ′ Z = CPEN_{S1}(PixelUnshuffle(Concat(I_{GT},I_{LQ}))),Z\in\mathbb{R}^{4C'} Z=CPENS1​(PixelUnshuffle(Concat(IGT​,ILQ​))),Z∈R4C′，之后IPR被送到DIRformer的DGFN和DMTA模块，第一阶段训练的损失是GT和生成HQ的L1损失，超分和inpainting任务还有erceptual loss and adversarial
    loss；
  • DMTA的操作 F ′ = W l 1 Z ⊙ N o r m ( F ) + W l 2 Z F' = W_l^1Z\odot Norm(F) + W_l^2 Z F′=Wl1​Z⊙Norm(F)+Wl2​Z，其中 W l W_l Wl​是linear层， F , F ′ F,F' F,F′分别是输入和输出的feature map， Q = W d Q W c Q F ′ , K = W d K W c K F ′ , V = W d V W c V F ′ Q = W_d^QW_c^QF',K=W_d^KW_c^KF',V = W_d^VW_c^VF' Q=WdQ​WcQ​F′,K=WdK​WcK​F′,V=WdV​WcV​F′，其中 W d W_d Wd​是depthwise卷积， W c W_c Wc​是pointwise卷积，之后被reshape成 Q ^ ∈ R H ^ W ^ × C ^ , K ^ ∈ R C ^ × H ^ W ^ , V ^ ∈ R H ^ W ^ × C ^ \widehat{Q}\in\mathbb{R}^{\widehat{H}\widehat{W}\times\widehat{C}},\widehat{K}\in\mathbb{R}^{\widehat{C}\times\widehat{H}\widehat{W}},\widehat{V}\in\mathbb{R}^{\widehat{H}\widehat{W}\times\widehat{C}} Q ​∈RH W ×C ,K ∈RC ×H W ,V ∈RH W ×C ，最后 F ^ = W c V ^ ⋅ S o f t m a x ( K ^ ⋅ Q ^ / γ ) + F \widehat{F}=W_c\widehat{V}\cdot Softmax(\widehat{K}\cdot \widehat{Q}/\gamma)+F F =Wc​V ⋅Softmax(K ⋅Q ​/γ)+F；
  • DGFN的操作： F ^ = G E L U ( W d 1 W c 1 F ′ ) ⊙ W d 2 W c 2 F ′ + F \widehat{F}=GELU(W_d^1W_c^1F')\odot W^2_dW_c^2F' + F F =GELU(Wd1​Wc1​F′)⊙Wd2​Wc2​F′+F；
  • stage2：同时训练三个部分，首先使用 C P E N S 1 CPEN_{S1} CPENS1​得到 Z Z Z，之后经过diffusion process得到 Z T ∈ R 4 C ′ Z_T\in\mathbb{R}^{4C'} ZT​∈R4C′， C P E N S 2 CPEN_{S2} CPENS2​得到 D = C P E N S 2 ( P i x e l U n s h u f f l e ( I L Q ) ) D = CPEN_{S2}(PixelUnshuffle(I_{LQ})) D=CPENS2​(PixelUnshuffle(ILQ​))，之后进行DM，以D为条件，进行去噪t-1次得到 Z ^ \widehat{Z} Z ，和 C P E N S 1 CPEN_{S1} CPENS1​得到的 Z Z Z计算损失 L d i f f = 1 4 C ′ ∑ i = 1 4 C ′ ∣ Z ^ ( i ) − Z ( i ) ∣ L_{diff} = \frac{1}{4C'}\sum_{i = 1}^{4C'}|\widehat{Z}(i) - Z(i)| Ldiff​=4C′1​∑i=14C′​∣Z (i)−Z(i)∣，这损失和stage1的损失在一起计算总损失；

实验

【深度学习】超分，修复，ResShift: Efficient Diffusion Model for Image Super-resolution by Residual Shifting
q742971636的博客
03-24 2238
基于上述动机，我们提出了一个高效的扩散模型，涉及一个更短的马尔可夫链，用于在HR图像和其对应的LR图像之间过渡。在本文中，我们认为，对于SR来说，合理的扩散模型应该从一个基于LR图像的先验分布开始，使其能够迭代地从其LR对应物中恢复HR图像，而不是从高斯白噪声开始。最近，扩散模型，作为一种新出现的生成模型，在图像生成方面取得了前所未有的成功。为了解决这个问题，作者提出了一种新颖高效的扩散模型用于SR，显著减少了扩散步骤的数量，从而消除了在推理过程中需要后加速的需求及其可能导致的性能恶化问题。
TPAMI 2025 | 基于残差转移的高效扩散模型用于图像恢复
小白学视觉
03-08 155
尽管基于扩散的图像恢复（IR）方法取得了显著的成功，但它们仍然受到推理速度慢的限制，这是由于执行数百甚至数千个采样步骤的必要性。现有的加速采样技术虽然在一定程度上加快了过程，但不可避免地牺牲了性能，导致恢复结果过度模糊。为了解决这个问题，作者提出了一种新颖且高效的扩散模型，显著减少了所需的扩散步骤数量。作者的方法避免了推理过程中的后加速，从而避免了相关的性能下降。具体来说，作者提出的方法建立了一个马尔可夫链，通过转移高质图像和低质图像之间的残差，显著提高了转移效率。
论文阅读笔记：DifIISR：具有梯度引导的红外图像超分辨率扩散模型 [CVPR 2025]
最新发布
m0_65551120的博客
04-16 874
红外图像在自动驾驶和机器人操作中非常重要，但由于红外相机的限制，如低空间分辨率和复杂退化，导致图像质量差，影响后续的视觉任务。现有的超分辨率方法（如基于CNN和Transformer的方法）虽然有一定效果，但忽略了红外图像的独特模态特性（如热光谱分布）以及机器感知的需求。将两类损失的梯度直接注入扩散模型的反向过程噪声预测中，迭代优化去噪步骤，实现视觉与感知的协同优化。针对红外图像长波长、低大气散射的特点，强制模型学习其独特的频域分布，提升细节重建能力。DifIISR的创新之处在于引入了。
DiffIR: Efficient Diffusion Model for Image Restoration 利用扩散模型进行图像重建
敲很多键盘
04-02 5688
DiffIR，一种强大、简单、高效的基于扩散模型的的图像修复方法。与图像生成不同的是，输入图像的大部分像素都是给定的。因此，我们利用DM强大的映射能力来估计一个紧凑的IPR（IR Prior Representation，图像修复的先验表示）来引导图像修复，从而提高DM在图像修复中的恢复效率和稳定性。
[CR]厚云填补_针对图像恢复的高效扩散模型DiffIR
iazzz的博客
08-13 1277
扩散模型(DM)通过将图像合成过程建模为去噪网络的顺序应用，实现了SOTA的性能。然而，与图像合成不同的是，图像恢复(IR)对生成符合ground-truth的结果有很强的约束。因此，对于IR，传统的DMs在大型模型上运行大量迭代来估计整个图像或特征映射是低效的。为了解决这个问题，我们提出了一种高效的图像恢复扩散模型 (DiffIR)，它由紧凑的图像恢复先验提取网络(Compact IR prior extraction network，CPEN)动态图像恢复Transformer(DIRformer)和。
DiffIR: Efficient Diffusion Model for lmage Restoration
通街是密人有的博客
07-27 2564
扩散模型(DM)通过将图像合成过程建模为去噪网络的顺序应用，实现了SOTA的性能。然而，与图像合成从头生成每个像素不同，图像复原(IR)的大部分像素是给定的。因此，对于IR，传统的DMs在大型模型上运行大量迭代来估计整个图像或特征映射是低效的。为了解决这个问题，我们提出了一种高效的IRDM (DiffIR)，它由紧凑的IR先验提取网络(CPEN)、动态IRtransformer(DIRformer)和去噪网络组成。具体来说，DiffIR有两个训练阶段：预训练和训练DM。
Diffusion Models for Image Restoration and Enhancement – A Comprehensive Survey
通街是密人有的博客
08-23 4851
图像恢复(IR)一直是低水平视觉领域不可或缺的一项具有挑战性的任务，它致力于提高因各种形式的退化而失真的图像的主观质量。近年来，扩散模型在AIGC的视觉生成方面取得了重大进展，由此提出了一个直观的问题，即“扩散模型能否促进图像恢复”。为了回答这个问题，一些开创性的研究试图将扩散模型集成到图像恢复任务中，从而获得比以前基于GAN的方法更好的性能。尽管如此，关于基于扩散模型的图像恢复的全面而有启发性的研究仍然很少。
【深度学习】超分，修复，ResShift Efficient Diffusion Model for Image Super-resolution by Residual Shifting
m0_60567881的博客
04-29 608
基于上述动机，我们提出了一个高效的扩散模型，涉及一个更短的马尔可夫链，用于在HR图像和其对应的LR图像之间过渡。马尔可夫链的初始状态收敛到HR图像的近似分布，而最终状态收敛到LR图像的近似分布。为了实现这一点，我们精心设计了一个转换核，逐步移动它们之间的残差。这种方法比现有的基于扩散的SR方法更高效，因为残差信息可以在几十个步骤内快速传递。此外，我们的设计还允许对证据下界进行分析和简洁的表达，简化了训练优化目标的归纳。
ADIR: Adaptive Diffusion for Image Reconstruction (Paper reading)
qq_43800752的博客
02-03 591
具体来说，我们使用最先进的 AVA-MUSIQ 和 KonIQ-MUSIQ 感知质量评估指标，它们是最先进的图像质量评估措施。换句话说就是对特定图像微调预训练模型的参数，使之适应特定的图像，从而有效的达到提升质量的目的。以降质图像为条件的扩散模型，测试阶段自适应增强图像细节，即测试阶段对于单幅图像寻找K-NN副相似的图像形成小数据集，用这些图像微调预训练扩散模型的参数，以达到对于这个单张图像增强细节的目的。本文的框架与GDM之间的主要区别在于，我们需要将我们的方法基于特定的退化图像。
Generative Diffusion Prior for Unified Image Restoration and Enhancement 论文阅读笔记
read, note and comment papers
07-26 2316
按原先的diffusion先验，其实就是在diffusion的reverse的过程中，每次加噪的过程前都调整一下均值项。而这个调整项涉及的优化目标即为式8，由两部分组成，一部分是增强/复原 结果降质后和低质量原图的距离损失，一个是针对特殊任务的效果提升项，使得增强/复原结果具有期望的性质（如亮度）。启发：用diffusion先验来进行暗图增强的部分，degradation的公式设计得巧妙简单，通过加M并且用M的tv loss的方式来进行增强是一个简单有效的idea，不过可能可以有更加有效的方法。
CVPR2024 Diffusion Model
weixin_41905577的博客
06-20 1790
CVPR2024 Diffusion Model listhttps://cvpr.thecvf.com/Conferences/2024/AcceptedPapers paper&codepaper&codepaperpaper&codepaper&codepaper&codepaper&codepaper&codepaper&codepaper&codepaper&codepaper&codepaper&codepaper&codepaperpaper&codepaper&codepaper&codep
DiffIR论文阅读笔记
read, note and comment papers
05-29 840
ICCV2023的一篇用diffusion模型做Image Restoration的论文，一作是清华的教授，还在NIPS2023上一作发表了Hierarchical Integration Diffusion Model for Realistic Image Deblurring，作者里甚至有Luc Van Gool大佬。 模型分三个部分，一个是CPEN用来提取IPR，一个是DIRformer，用来完成restoration任务，一个是denoising network，用diffusion的方式来预
Generative Diffusion Prior for Unified Image Restoration and Enhancement(2023,CVPR)
敲很多键盘
04-09 2070
它利用训练良好的DDPM作为通用图像恢复和增强的有效先验，使用退化图像作为指导。作为一个统一的框架，GDP不仅可以处理各种线性逆问题，而且首次将其推广到非线性的、盲的图像恢复和增强任务。因此，我们采用盲退化估计策略，在去噪过程中对GDP的退化模型参数进行随机初始化和优化。此外，为了进一步提高图像的真实感和图像质量，我们系统地研究了一种有效的方法来指导扩散模型。值得注意的是，这种退化模型一般是非线性的，因为f和m依赖于x和y。在推理过程中给定一个退化的图像y，用以引导逆向扩散过程，可以在预测出的干净的图像。
最新图像修复论文汇总（2024年以来）（一）
u014546828的博客
08-11 7164
汇总了自2024年2月份以后新提出的高质量图像修复工作，包含扩散模型、transformer、mamba、sam等最前沿的技术，其中一些是ICLR、CVPR、ECCV、ACM MM 2024年的新作。这里是第一部分，还有两部分请参阅。这篇博客先做简单汇总，后续我还会逐一阅读和学习，并逐一写详细的博客介绍。
图像去噪：Reconstruct-and-Generate Diffusion Model for Detail-Preserving Image Denoising
qq_34717531的博客
09-21 1953
为了减少扩散模型引入的不良纹理，研究还提出了一个自适应步骤控制器，调节扩散模型应用的反向步数，从而控制每个块中添加的高频细节的水平，并节省推断的计算成本。3）背景：传统的监督式去噪方法通常从嘈杂输入中学习重构干净图像，但这些方法存在固有的频谱偏差，容易产生过度平滑和模糊的图像。近年来，研究人员尝试了扩散模型来在图像恢复任务中生成高频细节，但这些模型不能保证生成的纹理与真实图像对齐，导致了不可取的伪影。在合成和实际的去噪数据集上进行了广泛的实验证明，验证了该方法的优越性。
DifIISR：基于梯度引导的扩散模型实现红外图像超分辨率
m0_59235945的博客
03-25 521
红外成像在自动驾驶和机器人操作中作为辅助模态具有重要作用，因其在复杂环境下的稳定表现而备受青睐。然而，红外相机的固有局限性（如低空间分辨率和复杂的退化问题）始终影响着成像质量和后续视觉任务的表现。因此，红外图像超分辨率（IISR）技术应运而生，旨在从低分辨率红外图像中重建高分辨率图像。
论文解读《Learning Deep CNN Denoiser Prior for Image Restoration》
weixin_30362801的博客
08-31 786
CVPR2017的一篇论文 Learning Deep CNN Denoiser Prior for Image Restoration： 一般的，image restoration(IR)任务旨在从观察的退化变量$y$(退化模型，如式子1)中，恢复潜在的干净图像$x$ $y \text{} =\text{}\textbf{H}x\text{}+\text{}v $ where ...
扩散模型diffusion model用于图像恢复任务详细原理 (去雨，去雾等皆可)，附实现代码
热门推荐
书山有路，学海无涯！
02-10 3万+
扩散模型原理公式推导，以及如何将扩散模型应用于图像恢复任务，包括可运行实现代码
clip-anomaly-detection
03-12
### CLIP Anomaly Detection Implementation and Solutions In the context of anomaly detection using Contrastive Language–Image Pretraining (CLIP), an attribute restoration framework has been proposed that leverages pre-trained models like CLIP for detecting anomalies in images or other data types[^1]. This approach involves utilizing the powerful feature extraction capabilities of CLIP to identify patterns that deviate from normal behavior. For implementing CLIP-based anomaly detection, one can follow a structured methodology: #### Data Preparation Collecting both normal and anomalous samples is crucial. The dataset should cover various scenarios where anomalies might occur. For each sample, extract features using CLIP's encoder architecture which maps inputs into high-dimensional embedding spaces shared between text and image domains. ```python import clip import torch device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) def get_clip_embedding(image_path): image = preprocess(Image.open(image_path)).unsqueeze(0).to(device) with torch.no_grad(): image_features = model.encode_image(image) return image_features.cpu().numpy() ``` #### Model Training Train a classifier on top of frozen CLIP embeddings obtained during the previous step. Alternatively, fine-tune only the last few layers while keeping earlier parts fixed. Another option includes employing unsupervised learning techniques such as autoencoders trained specifically for reconstruction error minimization over CLIP representations. #### Evaluation Metrics Use metrics tailored for imbalanced datasets since anomalies typically constitute minority classes. Common choices include precision-recall curves, F1 scores, ROC AUC values, etc., alongside visual inspection tools for qualitative assessment. Regarding specific implementations, research papers focusing on building bridges across spatial and temporal resolutions may offer insights applicable when dealing with spatiotemporal anomalies detected through changes prior modeling combined with conditional diffusion processes[^2]. System-level optimizations play a significant role too; efficient utilization of hardware resources ensures faster processing times without compromising accuracy levels significantly[^3]. Lastly, integrating geographic information systems could provide additional contextual awareness beneficial for certain applications involving location-specific events monitoring tasks[^4].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值