qq_43800752的博客

目前的研究主要依赖于恢复类型的先验知识，要么是通过规则明确地定义（DDRM中Liner的假设），要么是通过可用的退化-清晰图像对（End2End）隐含地定义恢复过程，并且需要大量的工作来收集各种退化类型的图像对。本文介绍了DreamClean，这是一种无需训练的方法，无需退化先验知识，但能产生高保真度和普适性，适用于各种图像退化类型。DreamClean将退化图像嵌入到预先训练的扩散模型的潜在空间中，并通过精心设计的扩散过程对其重新采样，模拟生成清晰图像的过程。

我们提出了一种新的 Diff-Pluggin 框架，使单个预训练的扩散模型能够在各种低级任务中生成高保真结果。具体来说，我们首先提出了一个轻量级的任务-Pluggin模块，该模块具有双分支设计，以提供特定于任务的先验，指导扩散过程保留图像内容。然后，我们提出了一种插件选择器，它可以根据文本指令自动选择不同的 Task-Plugins，允许用户通过指示具有自然语言的多个低级任务来编辑图像。我们对 8 个低级视觉任务进行了广泛的实验。结果表明，Diff-Pluggin 优于现有方法，尤其是在现实场景中。

受多模态方法和文本提示图像处理进步的启发，我们将文本提示引入图像SR，以提供退化先验。具体来说，我们首先设计了一个文本图像生成管道，通过文本退化表示和退化模型将文本集成到SR数据集中。文本表示采用基于装箱方法的离散化方式来抽象描述退化。这种表示方法还可以保持语言的灵活性。同时，我们提出了PromptSR来实现文本提示SR。PromptSR采用了扩散模型和预先训练的语言模型（例如T5和CLIP）。我们在生成的文本图像数据集上训练模型。

我们提出了一种具有潜在扩散的一体化图像恢复系统，名为AutoDIR，它可以自动检测和恢复具有多种未知退化的图像。我们的主要假设是，许多图像恢复任务，如超分辨率、运动去模糊、去噪、弱光增强、去雾和去噪，通常可以分解为一些共同的基算子，这些算子可以在不同方向上提高图像质量。AutoDIR旨在通过与多个图像恢复任务的联合训练，学习一个能够执行这些基本算子的统一图像恢复模型。具体而言，AutoDIR由基于CLIP的盲图像质量评估（BIQA）模块、基于潜在扩散的多功能图像恢复（AIR）模块和结构校正模块组成，

像CLIP这样的视觉语言模型已经显示出对零样本或无标签预测的各种下游任务的巨大影响。然而，当涉及到图像恢复等低水平视觉时，由于输入损坏，它们的性能会急剧下降。在本文中，我们提出了一种退化感知视觉语言模型（DA-CLIP），以更好地将预训练的视觉语言模型转移到低级视觉任务中，作为图像恢复的多任务框架。更具体地说，DA-CLIP训练一个额外的控制器，该控制器调整固定的CLIP图像编码器以预测高质量的特征嵌入。通过交叉关注将嵌入集成到图像恢复网络中，我们能够引导模型学习高保真度图像重建。

近年来，跨域传输被应用于无监督图像恢复任务中。但是，直接应用已有的框架，由于缺乏有效的监督，会导致翻译图像出现域漂移问题。相反，我们提出了一种无监督学习方法，该方法明确地从噪声数据中学习不变表示并重建清晰的观察结果。为此，我们将离散解纠缠表示和对抗性领域自适应引入到一般的领域转移框架中，并借助额外的自监督模块(包括背景和语义一致性约束)，在双域约束(如特征域和图像域)下学习鲁棒表示。

最近，扩散概率模型（Diffusion Probabilistic Models，DPMs）在图像生成任务中表现出了非凡的性能，能够生成高度逼真的图像。当将DPMs用于图像恢复任务时，关键的一点在于如何整合条件信息，以引导DPMs生成准确和自然的输出，这在现有的研究中往往被忽视。在本文中，我们提出了一个基于扩散模型的统一条件框架，用于图像恢复。我们利用一个轻量级的UNet来预测初始引导，并使用扩散模型学习引导的残差部分。

传统的盲脸部修复通常使用预定义的退化模型来合成降质的低质量数据进行训练，而实际世界中可能出现更复杂的情况。假设的退化模型与实际情况之间的差距会影响修复效果，输出结果中经常出现伪影。然而，为了覆盖实际情况，将每种类型的退化都包含在训练数据中是昂贵且不可行的。为了解决这个鲁棒性问题，我们提出了基于扩散的鲁棒退化去除器（DR2），首先将退化图像转化为粗糙但退化不变的预测，然后利用增强模块将粗糙预测恢复为高质量图像。

图像修复是指基于部分显露的参考图像生成完整的、自然的图像的任务。近年来，利用固定扩散模型来解决这一问题一直是人们研究的热点。这些方法通常直接将中间或最终生成的图像的显露区域替换为参考图像或其变体的区域。然而，由于未显示区域没有被直接修改以匹配上下文，因此导致显示区域和未显示区域之间的不一致。为了解决不一致性问题，少数方法引入了严格的贝叶斯框架，但由于计算后验分布时的近似误差，它们往往会在生成的图像和参考图像之间引入失配。在本文中，我们提出了COPAINT，它可以在不引入失配的情况下对整个图像进行一致性修复。

现有的图像恢复方法大多利用自然图像的后验分布。然而，它们通常假设已知的退化，并且还需要监督训练，这限制了它们对复杂的实际应用的适应。在这项工作中，我们提出了生成扩散先验（GDP），以无监督采样的方式对后验分布进行有效建模。GDP利用预训练去噪扩散生成模型（DDPM）来解决线性逆、非线性或盲问题。具体而言，GDP系统地探索了一种有条件指导的协议，该协议比常用的指导方式更实用。此外，GDP在去噪过程中有利于优化退化模型的参数，实现图像的盲恢复。

扩散模型在单图像超分辨率和其他图像到图像的转换任务上显示出了有希望的结果。尽管取得了成功，但在更具挑战性的盲超分辨率任务中，它们的表现并没有超过最先进的GAN模型，在该任务中，输入图像分布不均，退化程度未知。本文介绍了SR3+，一种基于扩散的盲超分辨率模型，建立了一种新的超分辨率模型。为此，我们提倡将自我监督训练与复合的、参数化的退化相结合，用于自我监督训练，并在训练和测试期间增加噪声条件。有了这些创新、大规模卷积架构和大规模数据集，SR3+大大优于SR3。

我们表明，级联扩散模型能够在类条件ImageNet生成基准上生成高保真图像，而无需任何辅助图像分类器来提高样本质量。级联扩散模型包括多个扩散模型的pipeline，这些扩散模型生成分辨率不断提高的图像，从最低分辨率的标准扩散模型开始，然后是一个或多个超分辨率扩散模型，这些超分辨率扩散模型依次对图像进行上采样并添加更高分辨率的细节。我们发现级联pipeline的样本质量主要依赖于条件增强，这是我们提出的超分辨率模型的低分辨率条件输入的数据增强方法。

我们提出了Imagen，一个文本到图像的扩散模型，具有前所未有的写实主义程度和深度的语言理解。Imagen建立在理解文本的大型变压器语言模型的基础上，并依赖于在高保真图像生成中扩散模型的强度。我们的关键发现是，在纯文本语料库上预训练的通用大型语言模型(例如T5)在编码用于图像合成的文本方面惊人地有效:在Imagen中增加语言模型的大小比增加图像扩散模型的大小更能提高样本保真度和图像文本对齐。

尽管已经在盲超分辨率方面进行了许多尝试来恢复具有未知和复杂退化的低分辨率图像，但它们仍然远远不能解决一般的真实世界退化图像。在这项工作中，我们将强大的ESRGAN扩展到一个实际的恢复应用程序（即Real ESRGAN），该应用程序使用纯合成数据进行训练。具体而言，引入了高阶退化建模过程，以更好地模拟复杂的现实世界退化。我们还考虑了合成过程中常见的振铃和过冲伪影。此外，我们使用了具有频谱归一化的U-Net鉴别器来提高鉴别器的能力并稳定训练动态。广泛的比较表明，它在各种真实数据集上的视觉性能优于先前的工作。

本文提出了一种新的扩散-小波（DiWa）方法，用于单幅图像超分辨率（SISR）。它充分利用了去噪扩散概率模型（DDPMs）和离散小波变换（DWT）的优势。通过使DDPMs在DWT域中运行，我们的DDPM模型有效地幻化出高频。我们的DDPM模型有效地幻化了小波谱上超分辨率图像的高频信息，从而在图像空间中实现了高质量和详细的重建。从数量上看，我们在PSNR、SSIM和LPIPS方面优于最先进的基于扩散的SISR方法，即SR3和SRDiff，在脸部（8倍缩放）和一般（4倍缩放）的SR基准上都是如此。

在这项工作中，我们利用扩散模型的高保真度生成能力来解决盲图像恢复任务，以高压缩级别的JPEG伪影去除为例。我们对扩散模型的前向随机微分方程（SDE）提出了一种优雅的修改，以使其适应恢复任务，并将我们的方法命名为DriftRec。将DriftRec与具有相同网络架构的L2回归baseline（JPEG重建的最新技术）进行比较，我们表明我们的方法可以避免两个基线生成模糊图像的倾向，并且显著更忠实地恢复干净图像的分布，同时只需要干净/损坏的图像对的数据集而不需要关于降质算子的知识。

条件扩散概率模型可以对自然图像的分布进行建模，并可以根据给定的条件生成不同的真实样本。然而，对于可观察到的颜色偏移和纹理，它们的结果往往是不现实的。我们认为，这个问题是由模型学习的概率分布和自然图像分布之间的差异造成的。在每个采样时间步长期间，微妙的条件逐渐扩大了发散。为了解决这个问题，我们引入了一种新的方法，该方法使用预训练的无条件扩散模型将预测样本带入训练数据流形。无条件模型充当正则化子，并减少条件模型在每个采样步骤引入的发散。

当无监督学习遇到真实世界图像去雨的扩散模型时会发生什么？为了回答这个问题，提出了RainDiffusion，这是第一个基于扩散模型的无监督图像去雨范式。除了传统的无监督的图像去噪智慧之外，RainDiffusion引入了对未配对的真实世界数据的稳定训练，而不是弱对抗性训练。RainDiffusion由两个合作分支组成：非扩散翻译分支（NTB）和扩散翻译分支。NTB利用循环一致性架构，通过生成初始干净/下雨图像对来绕过标准扩散模型的不成对训练的困难。

大多数工作都集中在在无噪声环境中解决简单的线性逆问题，这显著低估了真实世界问题的复杂性。在这项工作中，通过近似后验采样来扩展扩散求解器，有效的处理了一般的有噪声（非）线性逆问题。有趣的是，得到的后验采样方案是扩散采样与流形约束梯度的混合版本，而没有严格的测量一致性投影步骤，在有噪声环境中相比于之前的研究产生了更理想的生成路径。我们的方法展示了扩散模型可以结合各种测量噪声统计，如高斯和泊松，并且也能有效地处理有噪声非线性逆问题，如傅里叶相位恢复和非均匀去模糊。

在图像去噪的监督学习中，通常是收集或合成成对的干净图像和有噪声图像来训练去噪模型。使用L2范数损失或其他距离函数作为训练的目标函数。它通常会导致图像细节较少的过度平滑结果。在本文中，我们把去噪任务看作是一个以噪声图像为条件估计干净图像的后验分布的问题。应用扩散模型的思想实现了生成图像去噪。根据去噪任务中的噪声模型，我们重新定义了与原扩散过程不同的扩散过程。因此，后验分布的采样是从有噪声的图像开始的几十步的逆向过程。我们考虑了三种类型的噪声模型，高斯噪声，伽马噪声和泊松噪声。

最近的深度学习方法在去除图像阴影方面取得了令人满意的结果。然而，由于嵌入前的退化和建模能力的不足，它们恢复的图像仍然存在不满意的边界伪影。我们的工作通过提出一个统一的扩散框架来解决这些问题，该框架集成了图像和退化先验知识，以实现高效的阴影去除。具体而言，我们首先提出了一个阴影退化模型，该模型启发我们建立了一个新的展开扩散模型，称为ShandowDiffulation。它通过在退化先验和扩散生成先验的情况下逐步细化期望输出，显著地提高了模型的阴影去除能力，本质上可以作为图像恢复的新的强基线。

具体来说，我们使用最先进的 AVA-MUSIQ 和 KonIQ-MUSIQ 感知质量评估指标，它们是最先进的图像质量评估措施。换句话说就是对特定图像微调预训练模型的参数，使之适应特定的图像，从而有效的达到提升质量的目的。以降质图像为条件的扩散模型，测试阶段自适应增强图像细节，即测试阶段对于单幅图像寻找K-NN副相似的图像形成小数据集，用这些图像微调预训练扩散模型的参数，以达到对于这个单张图像增强细节的目的。本文的框架与GDM之间的主要区别在于，我们需要将我们的方法基于特定的退化图像。

.

运动物体，相机抖动或失焦镜头等各种条件都可能导致伪影模糊。本文将去模糊作为一个条件生成建模任务，即引入了“预测和优化”条件扩散模型，相对于经典扩散模型，提出方法更有效的采样。OK, 又是to the best of our konwledge，第一个去模糊的扩散模型。还有一个有意思的点，就是对噪声αˉαˉ提出了改进，是模型可以在Perception-Distortion(P-D)上权衡。方法简单，效果不错。

深度卷积神经网络可以从大量的图像中学习到真实图像先验的能力。先验是我们对世界的基本假设。例如，我们假设一枚硬币抛出50%正面和50%反面，这是我们的先验。这种先验并不总是正确的，但大多数时候是正确的。同样，我们假设自然图像是无噪声和无孔洞的，这也是我们的先验。因此，本文提出了一种用于去噪和修复应用的深度图像先验思想。该论文反驳了监督学习对于建立良好的图像先验是必要的这一观点。它们表明，生成器网络的结构就可以在不需要学习就能捕获大量low-level图像统计信息。本文展示了一个随机初始化的神经网络。