qq_45987837的博客

原创 Back to Basics: Let Denoising Generative Models Denoise 论文阅读学习

如今的去噪扩散模型并不以经典意义上的"去噪"方式工作，即它们不直接预测干净图像。相反，神经网络预测的是噪声或含噪声的量。在本文中，我们认为预测干净数据与预测含噪声的量存在根本区别。根据流形假设，自然数据应位于低维流形上，而含噪声的量则不然。基于此假设，我们提倡模型应直接预测干净数据，这使得看似容量不足的网络能够在非常高维的空间中有效运作。我们展示了在像素上使用简单的大块Transformer可以成为强大的生成模型：无需分词器、无需预训练、也无需额外损失。我们的方法在概念上无非就是 “仅仅是图像Transfo

原创 Task Decoupled Framework for Reference-based Super-Resolution 论文阅读笔记

在这项工作中，为了解决参考图像利用不足问题和参考图像误用问题，我们提出了一种基于解耦 RefSR 超分辨率任务和纹理转移任务的新颖框架。我们为输入图像和参考图像设定了两个不同的任务。具体来说，输入 LR 图像期望为最终输出提供结构和内容信息，而参考 HR 图像应提供额外的细节纹理。因此，我们分别利用输入 LR 图像ILRI_{LR}ILR​和参考图像IRefI_{Ref}IRef​，并随后将它们集成。我们提出的框架概述如图 4 所示，它包含两个主要部分：对于超分辨率。

原创 CoDe 论文阅读笔记

与原始方法相比，无论是在基于 CNN 的 [19, 56] 还是基于 Transformer 的 [25, 27] 真实世界超分辨率模型中，我们的方法产生了视觉上更令人愉悦的图像，具有更清晰和更锐利的边缘。在各种图像恢复任务（包括图像超分辨率、图像去噪和图像去模糊）上进行的全面实验，涵盖了真实世界和合成场景，展示了所提出范式的有效性，并且它成功地将在多个基准数据集上的原始网络性能提升到一个新的最先进水平，并取得了显著的增益。如图所示，所有考虑的方法都产生了一些反对角线，但真实图像中的线条应该是相反的方向。

原创 You Do Not Need Additional Priors or Regularizers in Retinex-based Low-light Image Enhancement 论文阅读

在低光照条件下捕获的图像通常存在严重的质量下降。最近的工作构建了多种多样的基于深度 Retinex 的网络来增强低光照图像。基于 Retinex 的方法需要将图像分解为反射率和照度分量，这是一个高度不适定（ill-posed）的问题，并且没有可用的真实值（ground truth）。先前的工作通过施加一些额外的先验（priors）或正则化器（regularizers）来解决这个问题。然而，找到一个可以应用于各种场景的有效先验或正则化器是具有挑战性的，并且模型的性能会受到过多额外约束的影响。

原创 EEMEFN: Low-Light Image Enhancement via Edge-Enhanced Multi-Exposure Fusion Network 论文阅读

本工作聚焦于极低光图像增强，旨在提高图像亮度并揭示暗区隐藏的信息。近年来，图像增强方法取得了令人瞩目的进展。然而，现有方法仍存在三个主要问题：(1) 低光图像通常具有高对比度。现有方法可能；(2) 当前方法；(3) 当时，逐像素损失可能会平等对待不同物体的像素并。在本文中，我们提出了一种称为边缘增强多曝光融合网络（EEMEFN）的两阶段方法来增强极低光图像。在，我们采用来解决问题。我们从，并通过来构建准确的正常光图像。因此，它可以从极噪和低光图像中。，我们引入了一个，借助。

原创 FourLLIE: Boosting Low-Light Image Enhancement by Fourier Frequency Information论文阅读

近年来，傅里叶频率信息在低光照图像增强（LLIE）领域引起了广泛关注。一些研究者注意到，在傅里叶空间中，亮度退化主要存在于振幅分量中，其余部分存在于相位分量中。通过结合傅里叶频率和空间信息，这些研究者提出了出色的LLIE解决方案。在这项工作中，我们进一步探究了振幅幅度与亮度大小之间的正相关关系，该关系可被有效利用以在傅里叶空间中改善低光照图像的亮度。此外，我们发现傅里叶变换可以提取图像的全局信息，并且不像多层感知机（MLPs）或 Transformer 那样引入大量的神经网络参数。为此，我们提出了一种基于傅

原创 Low-Light Image Enhancement via Structure Modeling and Guidance 论文阅读

本文提出了一种新的低光照图像增强框架，**通过同时进行外观和结构建模来实现**。该框架利用结构特征来指导外观增强，从而产生清晰且真实的结果。我们**框架中的结构建模通过低光照图像中的边缘检测来实现**。这是通过设计一个结构感知的特征提取器和生成器，改进生成模型来实现的。检测到的边缘图能够准确强调关键的结构信息，并且边缘预测对暗区域中的噪声具有鲁棒性。此外，为了改进使用简单U-Net实现的外观建模，我们提出了一种新颖的结构引导增强模块，该模块带有结构引导的特征合成层。外观建模、边缘检测器和增强模块可以进行端到

原创 Towards Perfection: Building Inter-component Mutual Correction for Retinex-based LLIE

在分解阶段，ICRR（第3.3节）首先利用双颜色空间先验提取光照分量。然后这个光照分量有助于反射率提取，减少初始ICR。在增强阶段，RCM（第3.4节）通过相互校正的方式增强光照和反射率分量。最后，LrmcLrmc​（第3.5节）在多个尺度上监督ICR估计。

原创 Towards Real-world Event-guided Low-light Video Enhancement and Deblurring

在低光照条件下，使用基于帧的相机拍摄视频通常需要较长的曝光时间，从而导致运动模糊和可见性降低。虽然基于帧的运动去模糊和低光照增强已被研究，但它们仍然存在重大挑战。

原创 TP-Diff:Learning Deblurring Texture Prior from Unpaired Data with Diffusion Model论文阅读

在本文中，我们提出了一种新颖的基于扩散模型（DM）的框架，称为 TP-Diff，用于图像去模糊，通过从无配对数据中学习空间变化的纹理先验。具体来说，TP-Diff 执行 DM 来生成辅助恢复模糊图像纹理的先验知识。为实现此目标，我们提出了一个纹理先验编码器（TPE），它引入了一种记忆机制来表示图像纹理，并为 DM 训练提供监督。为了充分利用生成的纹理先验，我们提出了纹理迁移Transformer层（TTformer），其中一种新颖的滤波器调制的多头自注意力（FM-MSA）通过自适应滤波有效地去除空间变化的模

原创 SNR-Aware Low-light Image Enhancement 论文阅读

本文提出了一种新的低光照图像增强解决方案，通过联合利用信噪比（SNR）感知的变换器（transformer）和卷积模型，以空间变化的操作方式动态增强像素。对于极低信噪比（SNR）的图像区域使用长程操作，对于其他区域使用短程操作。我们提出利用SNR先验来指导特征融合，并设计了一种新的自注意力模型来构建SNR感知变换器，以避免来自极低SNR噪声图像区域的令牌（tokens）参与计算。大量实验表明，在七个具有代表性的基准数据集上，使用相同的网络结构，我们的框架始终比最先进（SOTA）方法获得更好的性能。此外，我们

原创 Multiscale Structure Guided Diffusion for Image Deblurring 论文阅读

摘要 本文提出了一种基于多尺度结构引导的扩散概率模型（DPM）方法，用于提升图像去模糊的鲁棒性和感知质量。针对现有图像条件DPMs（icDPMs）在域外数据上表现不佳的问题，该方法引入了一个回归网络提取多尺度结构特征作为中间引导，为扩散模型提供清晰图像的结构先验。实验表明，仅需在单个数据集上训练，该方法就能在多个未见测试集上实现更鲁棒的去模糊效果，既保持了竞争性的失真指标，又显著减少了伪影，达到了最先进的感知质量。该方法优于基于回归和GAN的基线模型，尤其在处理域外模糊图像时展现出更强的泛化能力。

原创 DNF: Decouple and Feedback Network for Seeing in the Dark 论文阅读

为了缓解域模糊性，我们解耦了特定领域的子任务，并充分利用了 RAW 和 sRGB 域中的独特属性。通过反馈机制实现跨阶段的特征传播，避免了由图像级数据流引起的信息损失。我们方法的两个关键见解令人满意地解决了基于 RAW 数据的低光照图像增强的固有局限性，使我们的方法以仅 19% 的参数大幅超越之前的最先进方法，在 SID 的 Sony 和 Fuji 子集上分别实现了 0.97dB 和 1.30dB 的 PSNR 提升。

原创 Image Demoireing in RAW and sRGB Domains 论文阅读

摘要 本文提出一种联合利用RAW和sRGB数据的图像去摩尔纹方法（RRID），以解决现有方法在RAW域处理中导致的色偏问题。通过设计基于跳跃连接的去摩尔纹模块（SCDM），嵌入门控反馈模块（GFM）和频率选择模块（FSM），分别高效处理RAW和sRGB特征。GFM通过特征门控区分纹理与摩尔纹，FSM利用可学习带阻滤波器抑制频域摩尔纹。进一步提出RGB引导的ISP（RGISP），通过学习设备相关的ISP辅助色彩恢复。实验表明，RRID在PSNR和SSIM指标上分别优于现有方法0.62dB和0.003。

原创 ID-Blau: Image Deblurring by Implicit Diffusion-based reBLurring AUgmentation

本文提出了基于隐式扩散的模糊增强，它利用一张清晰图像和一个可控的模糊条件图来生成相应的模糊图像。我们将模糊图像的模糊模式参数化，以其方向和幅度作为像素级的模糊条件图，用于模拟运动轨迹并在连续空间中隐式地表示它们。通过采样不同的模糊条件，ID-Blau可以生成训练集中未见过的各种模糊图像。实验结果表明，ID-Blau能够生成逼真的模糊图像用于训练，从而显著提升当前最先进去模糊模型的性能。源代码可在 https://github.com/plusgood-steven/ID-Blau 获取。

原创 Real-World Blur Dataset for Learning and Benchmarking Deblurring Algorithms 论文阅读

遵循此类方法，我们在一个额外的对齐步骤中，将图像对齐，使得清晰图像中物体的中心与其在模糊图像中对应物体的中心相匹配。我们的系统设计采用配备全画幅传感器和广角镜头的高端无反相机，基于以下原因：首先，我们希望将传统相机的机内处理反映到我们的数据集中，因为经过相机 ISP 处理的模糊 JPEG 图像比原始图像更常见。然后，我们使用我们的测试集对最先进的去模糊方法进行基准测试，包括传统的基于优化的方法 [46, 33, 18] 和最近的基于深度学习的方法 [31, 49, 48, 21, 22, 42]。

原创 Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring 论文阅读

针对一般动态场景的非均匀盲去模糊是一个具有挑战性的计算机视觉问题，因为模糊不仅来源于多个物体运动，还来源于相机抖动和场景深度变化。为了去除这些复杂的运动模糊，传统的基于能量优化的方法依赖于简单的假设，例如模糊核是部分均匀或局部线性的。此外，最近的基于机器学习的方法也依赖于在这些假设下生成的合成模糊数据集。这使得传统的去模糊方法在模糊核难以近似或参数化的情况下（例如物体运动边界）无法有效去除模糊。在这项工作中，我们提出了一种多尺度卷积神经网络，以端到端的方式恢复由各种原因引起的模糊图像。

原创 Blur2Blur: Blur Conversion for Unsupervised Image Deblurring on Unknown Domains 论文阅读

本文提出了一种创新框架，旨在训练专门针对特定相机设备的图像去模糊算法。该算法的工作原理是将难以去模糊的模糊输入图像转换为另一种更容易去模糊的模糊图像。这种从一个模糊状态到另一个模糊状态的转换过程，利用了由目标相机设备捕获的、未配对的清晰和模糊图像数据。学习这种模糊到模糊的转换本质上比直接进行模糊到清晰的转换更简单，因为它主要涉及修改模糊模式，而不是重建精细图像细节这一复杂任务。通过在各种基准测试上的综合实验，证明了所提方法的有效性，其在定量和定性上都显著优于最先进的方法。我们的代码和数据可在 https:/

原创 Towards Low Light Enhancement with RAW Images 论文阅读

在本文中，我们首次进行了基准研究，详细阐述了在低光增强中使用 RAW 图像的优越性，并提出了一种新颖的替代方案，以更灵活和实用的方式利用 RAW 图像。受对典型图像处理流程的全面考虑启发，我们开发了一个新的评估框架——因子化增强模型 (FEM)，该框架将 RAW 图像的属性分解为可测量的因子，并提供了一个工具，用于实证探索 RAW 图像的属性如何影响增强性能。实证基准结果表明，数据的线性度 (Linearity) 和元数据中记录的曝光时间 (Exposure Time) 起着最关键的作用

原创 Efficient Frequency Domain-based Transformers for High-Quality Image Deblurring CVPR2023 论文阅读

我们提出了一种有效且高效的方法，探索Transformer在频域的特性以实现高质量图像去模糊。我们的方法受到卷积定理的启发，即两个信号在空间域的相关性或卷积等价于它们在频域中的逐元素乘积。这启发我们开发一种高效的基于频域的自注意力求解器 (FSAS)，通过逐元素乘积操作而非空间域中的矩阵乘法来估计缩放点积注意力 (scaled dot-product attention)。此外，我们注意到在Transformer中简单地使用朴素的前馈网络 (FFN) 无法生成良好的去模糊结果。

原创 注意力机制的学习

原创 Learning Semantic-Aware Knowledge Guidance for Low-Light Image Enhancement 论文阅读

低光图像增强（LLIE）研究如何改善照明并生成正常光照的图像。大多数现有方法通过全局和均匀的方式改进低光图像，而没有考虑不同区域的语义信息。如果没有语义先验，网络可能会容易偏离一个区域的原始颜色。为了解决这个问题，我们提出了一种新颖的语义感知知识引导框架（SKF），该框架可以帮助低光增强模型学习封装在语义分割模型中的丰富多样的先验知识。我们专注于从三个方面整合语义知识：一种语义感知嵌入模块，它巧妙地将语义先验集成到特征表示空间中；一种语义引导的颜色直方图损失，它保持各种实例的颜色一致性；

原创 Zero-Reference Low-Light Enhancement via Physical Quadruple Priors 论文阅读

理解光照并减少对监督的需求是低光照增强中的一个重大挑战。当前的方法在训练期间对数据使用和光照特定的超参数高度敏感，限制了其处理未见场景的能力。在本文中，我们提出了一种新的零参考低光照增强框架，该框架仅使用正常光照图像即可训练。为此，我们设计了一种受物理光传输理论启发的光照不变先验。该先验充当了正常光照图像和低光照图像之间的桥梁。然后，我们开发了一个无需低光照数据训练的先验到图像的框架。在测试时，该框架能够将我们的光照不变先验恢复回图像，自动实现低光照增强。在此框架内，我们利用预训练的生成扩散模型来提升模型能

原创 Diff-Retinex: Rethinking Low-light Image Enhancement with A Generative Diffusion Model 论文阅读

本文中，我们重新思考了低光照图像增强任务，并提出了一种物理可解释的生成式扩散模型，称为 Diff-Retinex。我们的目标是整合物理模型和生成网络的优点。此外，我们希望通过生成网络补充甚至推断低光照图像中缺失的信息。因此，Diff-Retinex 将低光照图像增强问题表述为 Retinex 分解和条件图像生成。在 Retinex 分解中，我们整合了 Transformer 中注意力的优势，并精心设计了一个 Retinex Transformer 分解网络（TDN）将图像分解为光照图

原创 Retinexformer: One-stage Retinex-based Transformer for Low-light Image Enhancement 论文阅读

在增强低光照图像时，许多深度学习算法基于Retinex理论。然而，Retinex模型并未考虑隐藏在黑暗中的退化或由增亮过程引入的退化。此外，这些方法通常需要繁琐的多阶段训练流程，并依赖卷积神经网络（CNN），在捕捉长程依赖方面表现出局限性。

原创 Learning to See in the Dark 论文阅读

在弱光环境下成像具有挑战性，原因在于光子数量少且信噪比（SNR）低。短曝光图像会受到噪声影响，而长曝光则可能引入模糊且通常不切实际。虽然已经提出了各种去噪、去模糊和增强技术，但它们在极端条件（如夜间视频速率成像）下的有效性有限。为了支持基于学习的弱光图像处理流程的开发，我们引入了一个包含原始短曝光弱光图像及相应长曝光参考图像的数据集。

原创 Restormer: Efficient Transformer for High-Resolution Image Restoration 论文阅读

由于卷积神经网络（CNN）在从大规模数据中学习可泛化的图像先验方面表现出色，这些模型已被广泛应用于图像恢复及相关任务。最近，另一类神经架构——Transformer，在自然语言处理和高层视觉任务上展现出显著的性能提升。虽然Transformer模型缓解了CNN的缺点（即有限的感受野和对输入内容的不适应性），但其计算复杂度随空间分辨率呈二次方增长，因此难以应用于大多数涉及高分辨率图像的图像恢复任务。本工作中，我们通过在核心构建模块（多头注意力和前馈网络）中引入几个关键设计，提出了一种高效的Transforme

原创 卷积类型总结

卷积/步长卷积 反卷积/转置卷积 可分离卷积 深度可分离卷积 空洞卷积/扩张卷积 深度扩张卷积/扩张深度卷积

原创 SSIM、PSNR、LPIPS、MUSIQ、NRQM、NIQE 六个图像质量评估指标

详细解释了SSIM、PSNR、LPIPS、MUSIQ、NRQM、NIQE这六个指标。

原创 环境配置相关问题以及解决方案

环境配置

原创 pytorch语法学习

pytorch函数的一些用法

原创 Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise论文阅读

本文提出了一种名为“冷扩散”的新型生成模型，挑战了传统扩散模型依赖高斯噪声的固有观念。研究发现，扩散模型的生成能力并不局限于噪声的添加与去除，而是可以通过完全确定性的降质操作（如模糊、遮蔽等）实现。通过训练恢复网络来反转这些降质操作，冷扩散模型能够在无需任何随机性的情况下生成高质量图像。这一发现不仅突破了传统扩散模型的理论框架，还为更通用的图像生成模型提供了新的研究方向。相关代码已开源，供进一步探索和应用。

原创 扩散模型学习

训练过程其实就是在训练 UNet 网络的参数。无论在前向过程还是反向过程，Unet 的职责都是根据当前的样本和时间 t 预测噪声。前向过程：从 1 到 T 的时间采样一个时间 t，生成一个随机噪声加到图片上，从 UNet 获取预测噪声，计算损失后更新 UNet 梯度。反向过程：先从正态分布随机采样和训练样本一样大小的纯噪声图片，从 T-1 到 0 逐步重复以下步骤：从。代码主要分为以下几块：Unet、GaussianDiffusion、Trainer。论文的源代码采用 UNet 实现对。

原创 Multi-Stage Progressive Image Restoration论文阅读

图像复原任务在恢复图像时需要在空间细节与高层语境化信息之间取得复杂的平衡。本文提出了一种新颖的协同设计方法，能够最优地平衡这些竞争目标。我们的核心方案是一种多阶段架构，通过逐步学习退化输入的复原函数，将整体恢复过程分解为更易管理的步骤。具体而言，我们的模型首先利用编码器-解码器架构提取语境化特征，随后将其与保留局部信息的高分辨率分支相结合。在每个阶段，我们引入了一种基于原位监督注意力机制的逐像素自适应设计，用于重新加权局部特征。这种多阶段架构的关键在于不同阶段之间的信息交换。

原创 Ingredient-oriented Multi-Degradation Learning for Image Restoration论文阅读

探索不同图像恢复任务之间的关联性对于揭示退化现象背后的内在机理具有重要意义。近年来，各类"多合一"方法蓬勃发展，能够在单一模型中处理多种图像退化问题。然而，在实际应用中，鲜有研究尝试通过挖掘各类退化现象的根本性成分来建立任务间的关联性，导致当涉及更多任务时，模型的可扩展性较差。本文提出一种新颖的成分导向范式，以替代传统的任务导向范式，从而实现可扩展的学习。具体而言，我们提出的方法名为成分导向退化重构框架（IDR），包含两个核心阶段：任务导向知识收集与成分导向知识整合。

原创 AutoDIR: Automatic All-in-One Image Restoration with Latent Diffusion 论文阅读 ECCV

本文提出了一种基于潜在扩散模型（LDM）的全自动一体化图像修复框架，旨在解决多种退化问题（如噪声、模糊、低分辨率、压缩伪影等）的联合修复挑战。现有方法通常针对单一或有限类型的退化进行优化，导致在复杂混合退化场景下表现受限。为此，我们设计了一个统一的生成模型，通过在扩散过程中引入可学习的退化嵌入（degradation embedding）机制，使模型能够自适应地感知并修复不同类型的图像退化。具体而言，我们通过以下创新点实现这一目标：(1) 提出多任务退化编码器，将退化特征与图像内容解耦（分开处理）

原创 Deep Multi-scale Convolutional Neural Network for Dynamic Scene Deblurring论文阅读

非均匀盲去模糊（Non-uniform blind deblurring）是计算机视觉中的一项挑战性问题，因为模糊不仅由多个物体的运动引起，还可能源于相机抖动和场景深度变化。为了消除这些复杂的运动模糊，传统基于能量优化的方法依赖于简单假设（例如模糊核局部均匀或线性）。此外，近期的基于机器学习的方法也依赖于在这些假设下生成的合成模糊数据集。这使得传统去模糊方法难以处理模糊核难以参数化的情况（例如物体运动边界）。本文提出了一种多尺度卷积神经网络（CNN），以端到端方式恢复清晰图像，适用于由多种因素导致的模糊。

原创 扩散模型的概念——李宏毅老师的课

扩散模型的基础概念

原创 Deep Image Deblurring: A Survey 去模糊文献翻译原文

图像去模糊是低层计算机视觉中的经典问题，其目标是从模糊的输入图像中恢复出清晰图像。模糊可能由多种因素引起，例如失焦、相机抖动或目标快速运动。近年来，深度学习技术的进步显著推动了这一问题的解决，大量去模糊网络被提出。本文旨在对近期发表的基于深度学习的图像去模糊方法进行全面且及时的综述，以服务于学术界作为有价值的文献参考。我们首先讨论图像模糊的常见成因，介绍基准数据集和性能指标，并总结不同的问题建模方式。接着，我们提出一种基于卷积神经网络（CNN）的方法分类体系，从架构、损失函数和应用角度进行详细回顾与比较。

原创 Deep Image Deblurring: A Survey 去模糊文献阅读

图像去模糊是低层计算机视觉中的经典问题，其目标是从模糊的输入图像中恢复出清晰图像。模糊可能由多种因素引起，例如失焦、相机抖动或目标快速运动。近年来，深度学习技术的进步显著推动了这一问题的解决，大量去模糊网络被提出。本文旨在对近期发表的基于深度学习的图像去模糊方法进行全面且及时的综述，以服务于学术界作为有价值的文献参考。我们首先讨论图像模糊的常见成因，介绍基准数据集和性能指标，并总结不同的问题建模方式。接着，我们提出一种基于卷积神经网络（CNN）的方法分类体系，从架构、损失函数和应用角度进行详细回顾与比较。