qq_43800752的博客

文本驱动的图像编辑方法通常需要编辑掩码，难以进行需要显著视觉更改的编辑，并且无法轻松保留编辑部分的特定细节。在本文中，我们观察到，只需在单个图像上对图像生成模型进行微调，就可以将其转换为图像编辑模型。我们还表明，在采样前用基础图像的噪声版本初始化随机采样器，并在采样后从基础图像插值相关细节，进一步提高了编辑操作的质量。结合这些观察结果，我们提出了一种新颖的图像编辑方法UniTune。UniTune获取任意图像和文本编辑描述作为输入，并在保持对输入图像的高保真度的同时执行编辑。

在本文中，我们首次展示了将复杂（例如，非刚性）基于文本的语义编辑应用于单个真实图像的能力。例如，我们可以改变图像中一个或多个对象的姿势和组成，同时保留其原始特征。我们的方法可以让站着的狗坐下，让鸟展开翅膀，等等——每一个都在用户提供的高分辨率自然图像中。与之前的工作相反，我们提出的方法只需要单个输入图像和目标文本（所需的编辑）。它对真实图像进行操作，并且不需要任何额外的输入（例如图像遮罩或对象的额外视图）。我们的方法称为Imagic，利用预先训练的文本到图像扩散模型来完成这项任务。

在使用扩散模型的图像编辑中，在改变其风格的同时保持原始图像的重建质量是至关重要的。尽管现有的方法通过优化来确保重建质量，但这些方法的缺点是优化所需的大量时间。在本文中，我们提出了负提示反演，这是一种能够在不进行优化的情况下仅通过正向传播实现等效重建的方法，从而实现更快的编辑过程。我们通过实验证明，我们的方法的重建质量与现有方法相当，允许在大约5秒内以512像素的分辨率和50个采样步骤进行反演，这比空文本反演快30多倍。

编辑对这些生成模型来说是具有挑战性的，因为编辑技术的一个固有特性是保留大部分原始图像，而在基于文本的模型中，即使对文本提示进行微小修改，也往往会导致完全不同的结果。现有技术的方法通过要求用户提供空间掩模来定位编辑，从而忽略掩模区域内的原始结构和内容来减轻这种情况。在本文中，我们追求一个直观的示编辑框架，其中编辑仅由文本控制。为此，我们深入分析了一个文本条件模型，并观察到交叉注意力层是控制图像空间布局与提示中每个单词之间关系的关键。根据这一观察结果，我们提出了几个仅通过编辑文本提示来监控图像合成的应用程序。

在本文中，我们介绍了一种精确的反转技术，从而有助于直观地对图像进行基于文本的修改。我们提出的反演由两个新的关键组成部分组成：（i）扩散模型的关键反演。虽然目前的方法旨在将随机噪声样本映射到单个输入图像，但我们为每个时间戳使用一个关键噪声向量，并围绕它进行优化。我们证明，直接反演本身是不够的，但确实为我们的优化提供了一个很好的锚。（ii）空文本优化，其中我们只修改用于无分类器引导的无条件文本嵌入，而不是输入文本嵌入。

目前的研究主要依赖于恢复类型的先验知识，要么是通过规则明确地定义（DDRM中Liner的假设），要么是通过可用的退化-清晰图像对（End2End）隐含地定义恢复过程，并且需要大量的工作来收集各种退化类型的图像对。本文介绍了DreamClean，这是一种无需训练的方法，无需退化先验知识，但能产生高保真度和普适性，适用于各种图像退化类型。DreamClean将退化图像嵌入到预先训练的扩散模型的潜在空间中，并通过精心设计的扩散过程对其重新采样，模拟生成清晰图像的过程。

我们提出了一种新的 Diff-Pluggin 框架，使单个预训练的扩散模型能够在各种低级任务中生成高保真结果。具体来说，我们首先提出了一个轻量级的任务-Pluggin模块，该模块具有双分支设计，以提供特定于任务的先验，指导扩散过程保留图像内容。然后，我们提出了一种插件选择器，它可以根据文本指令自动选择不同的 Task-Plugins，允许用户通过指示具有自然语言的多个低级任务来编辑图像。我们对 8 个低级视觉任务进行了广泛的实验。结果表明，Diff-Pluggin 优于现有方法，尤其是在现实场景中。

像CLIP这样的视觉语言模型已经显示出对零样本或无标签预测的各种下游任务的巨大影响。然而，当涉及到图像恢复等低水平视觉时，由于输入损坏，它们的性能会急剧下降。在本文中，我们提出了一种退化感知视觉语言模型（DA-CLIP），以更好地将预训练的视觉语言模型转移到低级视觉任务中，作为图像恢复的多任务框架。更具体地说，DA-CLIP训练一个额外的控制器，该控制器调整固定的CLIP图像编码器以预测高质量的特征嵌入。通过交叉关注将嵌入集成到图像恢复网络中，我们能够引导模型学习高保真度图像重建。

近年来，跨域传输被应用于无监督图像恢复任务中。但是，直接应用已有的框架，由于缺乏有效的监督，会导致翻译图像出现域漂移问题。相反，我们提出了一种无监督学习方法，该方法明确地从噪声数据中学习不变表示并重建清晰的观察结果。为此，我们将离散解纠缠表示和对抗性领域自适应引入到一般的领域转移框架中，并借助额外的自监督模块(包括背景和语义一致性约束)，在双域约束(如特征域和图像域)下学习鲁棒表示。

扩散概率模型 (DPM) 在图像生成方面取得了显着的质量，可与 GAN 相媲美。但是与 GAN 不同，DPM 使用一组潜在变量，这些变量缺乏语义含义，不能作为其他任务的有用表示。本文探索了使用DPM进行表示学习的可能性，并试图通过自动编码提取输入图像的有意义和可解码的表示。我们的关键思想是使用可学习的编码器来发现高级语义，并使用 DPM 作为解码器来对剩余的随机变化进行建模。我们的方法可以将任何图像编码为两部分潜在编码，其中第一部分在语义上有意义且线性，第二部分捕获随机细节，允许近乎精确的重建。

扩散模型因其出色的生成能力而受到越来越多的关注，但目前在生成准确连贯的文本方面仍存在困难。为了解决这个问题，我们引入了TextDiffuser，重点是生成具有视觉吸引力的文本，并且与背景一致。首先，一个Transformer模型根据文本提示生成关键词的布局，然后扩散模型根据文本提示和生成的布局生成图像。此外，我们还贡献了第一个带有OCR注释的大规模文本图像数据集MARIO-10M，其中包含1000万个图像-文本对，包括文本识别、检测和字符级分割注释。

文本到图像的模型为通过自然语言引导创作提供了前所未有的自由。然而，目前尚不清楚如何利用这种自由度来生成特定独特概念的图像，修改它们的外观，或将它们组合到新的角色和新颖场景中。换句话说，我们要问：如何利用语言引导的模型将我们的猫变成一幅画，或根据我们最喜欢的玩具想象出一种新产品？在这里，我们提出了一种简单的方法，可以实现这种创造性的自由。我们仅使用用户提供的概念（如物体或风格）的3-5张图像，通过冻结的文本到图像模型的嵌入空间中的新“词”来学习表示它。

大型文本到图像模型在AI的演化中取得了显著的飞跃，实现了从给定文本提示中合成高质量、多样化的图像。然而，这些模型缺乏模仿给定参考集中主题外观并在不同环境中合成新的表现形式的能力。在这项工作中，我们提出了一种新的方法，用于“个性化”文本到图像扩散模型。只需输入主题的几张图像，我们对预训练的文本到图像模型进行微调，使其学习将唯一标识符与特定主题绑定。一旦主题嵌入到模型的输出域中，该唯一标识符可以用于在不同场景中合成主题的新颖逼真的图像。

我们提出了一种名为ControlNet的神经网络结构，用于控制预训练的大规模扩散模型，以支持额外的输入条件。ControlNet以端到端的方式学习任务特定的条件，并且即使训练数据集较小（< 50k），学习效果也很稳健。此外，训练ControlNet的速度与微调扩散模型的速度一样快，而且该模型可以在个人设备上进行训练。或者，如果有强大的计算集群可用，该模型可以扩展到大量（百万到十亿级）的数据。我们报告了使用ControlNet扩展稳定扩散等大规模扩散模型的结果，以实现诸如边缘映射、分割映射、关键点等条件输入。

最近，扩散概率模型（Diffusion Probabilistic Models，DPMs）在图像生成任务中表现出了非凡的性能，能够生成高度逼真的图像。当将DPMs用于图像恢复任务时，关键的一点在于如何整合条件信息，以引导DPMs生成准确和自然的输出，这在现有的研究中往往被忽视。在本文中，我们提出了一个基于扩散模型的统一条件框架，用于图像恢复。我们利用一个轻量级的UNet来预测初始引导，并使用扩散模型学习引导的残差部分。

近期，在语言引导图像生成领域取得了令人瞩目的突破，实现了基于用户指令生成高质量和多样化图像。虽然合成效果令人惊叹，但当前图像生成模型的一个重要局限是其在图像中连贯生成文本的能力不足，尤其是对于复杂的字形结构，如中文字符。为了解决这个问题，我们引入了GlyphDraw，这是一个通用的学习框架，旨在赋予图像生成模型以生成嵌入文本的图像的能力，适用于任何特定语言。

传统的盲脸部修复通常使用预定义的退化模型来合成降质的低质量数据进行训练，而实际世界中可能出现更复杂的情况。假设的退化模型与实际情况之间的差距会影响修复效果，输出结果中经常出现伪影。然而，为了覆盖实际情况，将每种类型的退化都包含在训练数据中是昂贵且不可行的。为了解决这个鲁棒性问题，我们提出了基于扩散的鲁棒退化去除器（DR2），首先将退化图像转化为粗糙但退化不变的预测，然后利用增强模块将粗糙预测恢复为高质量图像。

图像修复是指基于部分显露的参考图像生成完整的、自然的图像的任务。近年来，利用固定扩散模型来解决这一问题一直是人们研究的热点。这些方法通常直接将中间或最终生成的图像的显露区域替换为参考图像或其变体的区域。然而，由于未显示区域没有被直接修改以匹配上下文，因此导致显示区域和未显示区域之间的不一致。为了解决不一致性问题，少数方法引入了严格的贝叶斯框架，但由于计算后验分布时的近似误差，它们往往会在生成的图像和参考图像之间引入失配。在本文中，我们提出了COPAINT，它可以在不引入失配的情况下对整个图像进行一致性修复。

现有的图像恢复方法大多利用自然图像的后验分布。然而，它们通常假设已知的退化，并且还需要监督训练，这限制了它们对复杂的实际应用的适应。在这项工作中，我们提出了生成扩散先验（GDP），以无监督采样的方式对后验分布进行有效建模。GDP利用预训练去噪扩散生成模型（DDPM）来解决线性逆、非线性或盲问题。具体而言，GDP系统地探索了一种有条件指导的协议，该协议比常用的指导方式更实用。此外，GDP在去噪过程中有利于优化退化模型的参数，实现图像的盲恢复。

扩散模型在单图像超分辨率和其他图像到图像的转换任务上显示出了有希望的结果。尽管取得了成功，但在更具挑战性的盲超分辨率任务中，它们的表现并没有超过最先进的GAN模型，在该任务中，输入图像分布不均，退化程度未知。本文介绍了SR3+，一种基于扩散的盲超分辨率模型，建立了一种新的超分辨率模型。为此，我们提倡将自我监督训练与复合的、参数化的退化相结合，用于自我监督训练，并在训练和测试期间增加噪声条件。有了这些创新、大规模卷积架构和大规模数据集，SR3+大大优于SR3。

我们表明，级联扩散模型能够在类条件ImageNet生成基准上生成高保真图像，而无需任何辅助图像分类器来提高样本质量。级联扩散模型包括多个扩散模型的pipeline，这些扩散模型生成分辨率不断提高的图像，从最低分辨率的标准扩散模型开始，然后是一个或多个超分辨率扩散模型，这些超分辨率扩散模型依次对图像进行上采样并添加更高分辨率的细节。我们发现级联pipeline的样本质量主要依赖于条件增强，这是我们提出的超分辨率模型的低分辨率条件输入的数据增强方法。

尽管已经在盲超分辨率方面进行了许多尝试来恢复具有未知和复杂退化的低分辨率图像，但它们仍然远远不能解决一般的真实世界退化图像。在这项工作中，我们将强大的ESRGAN扩展到一个实际的恢复应用程序（即Real ESRGAN），该应用程序使用纯合成数据进行训练。具体而言，引入了高阶退化建模过程，以更好地模拟复杂的现实世界退化。我们还考虑了合成过程中常见的振铃和过冲伪影。此外，我们使用了具有频谱归一化的U-Net鉴别器来提高鉴别器的能力并稳定训练动态。广泛的比较表明，它在各种真实数据集上的视觉性能优于先前的工作。

本文提出了一种新的扩散-小波（DiWa）方法，用于单幅图像超分辨率（SISR）。它充分利用了去噪扩散概率模型（DDPMs）和离散小波变换（DWT）的优势。通过使DDPMs在DWT域中运行，我们的DDPM模型有效地幻化出高频。我们的DDPM模型有效地幻化了小波谱上超分辨率图像的高频信息，从而在图像空间中实现了高质量和详细的重建。从数量上看，我们在PSNR、SSIM和LPIPS方面优于最先进的基于扩散的SISR方法，即SR3和SRDiff，在脸部（8倍缩放）和一般（4倍缩放）的SR基准上都是如此。

在这项工作中，我们利用扩散模型的高保真度生成能力来解决盲图像恢复任务，以高压缩级别的JPEG伪影去除为例。我们对扩散模型的前向随机微分方程（SDE）提出了一种优雅的修改，以使其适应恢复任务，并将我们的方法命名为DriftRec。将DriftRec与具有相同网络架构的L2回归baseline（JPEG重建的最新技术）进行比较，我们表明我们的方法可以避免两个基线生成模糊图像的倾向，并且显著更忠实地恢复干净图像的分布，同时只需要干净/损坏的图像对的数据集而不需要关于降质算子的知识。

条件扩散概率模型可以对自然图像的分布进行建模，并可以根据给定的条件生成不同的真实样本。然而，对于可观察到的颜色偏移和纹理，它们的结果往往是不现实的。我们认为，这个问题是由模型学习的概率分布和自然图像分布之间的差异造成的。在每个采样时间步长期间，微妙的条件逐渐扩大了发散。为了解决这个问题，我们引入了一种新的方法，该方法使用预训练的无条件扩散模型将预测样本带入训练数据流形。无条件模型充当正则化子，并减少条件模型在每个采样步骤引入的发散。

当无监督学习遇到真实世界图像去雨的扩散模型时会发生什么？为了回答这个问题，提出了RainDiffusion，这是第一个基于扩散模型的无监督图像去雨范式。除了传统的无监督的图像去噪智慧之外，RainDiffusion引入了对未配对的真实世界数据的稳定训练，而不是弱对抗性训练。RainDiffusion由两个合作分支组成：非扩散翻译分支（NTB）和扩散翻译分支。NTB利用循环一致性架构，通过生成初始干净/下雨图像对来绕过标准扩散模型的不成对训练的困难。

大多数工作都集中在在无噪声环境中解决简单的线性逆问题，这显著低估了真实世界问题的复杂性。在这项工作中，通过近似后验采样来扩展扩散求解器，有效的处理了一般的有噪声（非）线性逆问题。有趣的是，得到的后验采样方案是扩散采样与流形约束梯度的混合版本，而没有严格的测量一致性投影步骤，在有噪声环境中相比于之前的研究产生了更理想的生成路径。我们的方法展示了扩散模型可以结合各种测量噪声统计，如高斯和泊松，并且也能有效地处理有噪声非线性逆问题，如傅里叶相位恢复和非均匀去模糊。

在图像去噪的监督学习中，通常是收集或合成成对的干净图像和有噪声图像来训练去噪模型。使用L2范数损失或其他距离函数作为训练的目标函数。它通常会导致图像细节较少的过度平滑结果。在本文中，我们把去噪任务看作是一个以噪声图像为条件估计干净图像的后验分布的问题。应用扩散模型的思想实现了生成图像去噪。根据去噪任务中的噪声模型，我们重新定义了与原扩散过程不同的扩散过程。因此，后验分布的采样是从有噪声的图像开始的几十步的逆向过程。我们考虑了三种类型的噪声模型，高斯噪声，伽马噪声和泊松噪声。

最近的深度学习方法在去除图像阴影方面取得了令人满意的结果。然而，由于嵌入前的退化和建模能力的不足，它们恢复的图像仍然存在不满意的边界伪影。我们的工作通过提出一个统一的扩散框架来解决这些问题，该框架集成了图像和退化先验知识，以实现高效的阴影去除。具体而言，我们首先提出了一个阴影退化模型，该模型启发我们建立了一个新的展开扩散模型，称为ShandowDiffulation。它通过在退化先验和扩散生成先验的情况下逐步细化期望输出，显著地提高了模型的阴影去除能力，本质上可以作为图像恢复的新的强基线。

具体来说，我们使用最先进的 AVA-MUSIQ 和 KonIQ-MUSIQ 感知质量评估指标，它们是最先进的图像质量评估措施。换句话说就是对特定图像微调预训练模型的参数，使之适应特定的图像，从而有效的达到提升质量的目的。以降质图像为条件的扩散模型，测试阶段自适应增强图像细节，即测试阶段对于单幅图像寻找K-NN副相似的图像形成小数据集，用这些图像微调预训练扩散模型的参数，以达到对于这个单张图像增强细节的目的。本文的框架与GDM之间的主要区别在于，我们需要将我们的方法基于特定的退化图像。

对于条件图像合成，我们通过分类器指导进一步提高样本质量：一种简单、计算效率高的方法，使用分类器的梯度来权衡样本质量的多样性。我们在 ImageNet 128×128 上实现了 2.97 的 FID，在 ImageNet 256×256 上实现了 4.59，在 ImageNet 512×512 上实现了 7.72。即使每个样本只有 25 次前向传播，我们也能匹配 BigGAN-deep，同时保持更好的分布覆盖。

.

深度卷积神经网络可以从大量的图像中学习到真实图像先验的能力。先验是我们对世界的基本假设。例如，我们假设一枚硬币抛出50%正面和50%反面，这是我们的先验。这种先验并不总是正确的，但大多数时候是正确的。同样，我们假设自然图像是无噪声和无孔洞的，这也是我们的先验。因此，本文提出了一种用于去噪和修复应用的深度图像先验思想。该论文反驳了监督学习对于建立良好的图像先验是必要的这一观点。它们表明，生成器网络的结构就可以在不需要学习就能捕获大量low-level图像统计信息。本文展示了一个随机初始化的神经网络。

对于严重的噪音水平，最小均方误差 (MMSE) 解决方案可能会导致模糊输出图像。本文提出了一种新颖的随机去噪方法，该方法可产生可行且高感知质量的结果，同时保持较小的 MSE。本文的方法采用 Langevin 动力学，它依赖于重复应用任何给定的 MMSE 降噪器，通过从后验分布采样获得重建图像。这里假设了噪声强度σ0\sigma_{0}σ0​，也就是知道了噪声强度这个强先验，在模拟噪声数据集上的表现良好，但是该算法还无法处理真实噪声，或者盲噪声，这是扩散模型应用low-level的一个重要目标。

目前的有监督的基于神经网络的方法并没有明确的利用图像的先验。相比于传统方法来说，深度学习方法能够嵌入更多的先验知识。但是这些隐式先验是由训练数据的分布、网络架构、优化目标中包含的正则化项和优化算法的组合产生的。此外，它们与优化它们的任务交织在一起。之前的方法使用嵌入到降噪器中的先验来解决其他逆问题。（那么处了利用去噪器中的先验知识，是否还可以利用其他的先验知识呢？比如大型的预训练模型？）本文提出了一个通用的算法，用去噪器隐式先验解决线性可逆问题(linear inverse problems)。

这是第一个应用卷积神经网络去噪的模型作者是麻省理工的大佬

这个算法和BM3D非常像，这也是我在学习BM3D时的基础。

图片稀疏表示去噪算法。本文涉及一些算法，如OMP,K-SVD，还需要有稀疏表示和字典学习等基础，本人也未深入研究这个方向。只是在学习中的一个总结，日后可能进一步深入研究。论文 Image Denoising Via Sparse and Redundant Representations Over Learned Dictionaries正文：...

利用模糊(Fuzzy)技术实现强度转换和空间滤波文章目录利用模糊(Fuzzy)技术实现强度转换和空间滤波基础定义一.模糊集使用举例二、使用步骤1.引入库2.读入数据总结基础什么是模糊集合？假设我们要将一批人（集合Z）分为年轻人和非年轻人，但我们很难说多少岁的人是真正的年轻人，通常只能说他计较年轻，他不算老。但是如何用数学的方式来表达呢？此时我们需要一个函数来表达这种功能。我们知道18岁一定是年轻人，40岁一定不是年轻人。20~30岁之间的人我们只能用一个模糊的说法来表达（比较年轻）。这样我们可

图像处理冈萨雷斯局部直方图处理(Local Histogram Processing)局部直方图均衡化解决办法：直方图统计(Histogram Statistics)合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入局部直方图处理(Local