学无止境。

本文提出了一种名为MambaLLIE的低光照图像增强框架，该框架基于隐式Retinex感知和全局优先-局部次之的状态空间设计。MambaLLIE通过局部增强型状态空间模块（LESSM）和隐式Retinex感知选择性核模块（IRSK）有效捕捉全局和局部特征，解决了传统Retinex理论在处理局部退化现象时的不足。LESSM通过引入增强型局部偏置优化了传统状态空间模型，而IRSK则通过空间变化操作实现特征动态选择。实验结果表明，MambaLLIE在多项指标上显著优于现有的CNN和Transformer方法，展示

低光图像增强（LLE）旨在改善在低光条件下拍摄的图像的视觉质量，这些图像通常面临低亮度、低对比度、噪声和色彩失真等问题。这些问题会影响计算机视觉任务的性能，例如物体检测、面部识别和自动驾驶。传统的增强技术，如多尺度融合和直方图均衡，往往无法保留细节，并且在复杂光照条件下难以保持增强图像的自然外观。尽管Retinex理论为图像分解提供了基础，但它通常会放大噪声，导致图像质量不理想。本文提出了双光增强网络（DLEN），这是一种新型的架构，结合了两种不同的注意力机制，考虑了空间和频率域。

现有的去雨 Transformer 采用自注意力机制，通过固定范围的窗口或沿通道维度的方式来操作，这限制了非局部感受野的利用。为了解决这个问题，我们提出了一种新颖的双分支混合Transformer-Mamba网络，命名为TransMamba，旨在有效捕捉长程的与雨滴相关的依赖关系。基于雨滴退化和背景的不同光谱域特征的先验知识，我们在第一个分支上设计了一个光谱带状Transformer模块。在光谱域的通道维度上执行自注意力操作，以增强建模长程依赖的能力。为了增强频率特定信息，我们提出了一种光谱增强的前馈模块。

我们提出了一种有效且高效的方法，探索 Transformers 在频域中的属性，用于高质量图像去模糊。我们的方法受卷积定理的启发，即两个信号在空间域中的相关性或卷积等价于它们在频域中的逐元素乘积。这激发我们开发了一种高效的基于频域的自注意力求解器（FSAS），通过逐元素乘法操作估计缩放点积注意力，而不是在空间域中进行矩阵乘法。此外，我们注意到，仅仅使用传统的前馈网络（FFN）并不能生成良好的去模糊结果。

由于卷积神经网络（CNN）能够从大规模数据中学习出具有良好泛化性的图像先验，因此这些模型已经被广泛应用于图像恢复及相关任务。最近，另一类神经网络架构——Transformer，在自然语言处理和高层次视觉任务上展现出了显著的性能提升。虽然 Transformer 模型在缓解CNN的缺点（例如有限的感受野和对输入内容的适应性差）方面有优势，但其计算复杂度随着空间分辨率的增加呈平方级增长，因此在涉及高分辨率图像的大多数图像恢复任务中应用起来非常困难。

近年来，由于Transformer网络具有全局感受野和适应输入的能力，它们在图像修复领域表现出了卓越的性能。然而，Softmax注意力机制的二次计算复杂度对其在图像修复任务中的广泛应用，尤其是对于高分辨率图像，构成了显著的限制。为了解决这一挑战，我们提出了一种新的Transformer变体。该变体利用泰勒展开来近似Softmax注意力，并采用范数保持映射的概念来近似一阶泰勒展开的余项，从而实现了线性计算复杂度。1）各种大小的感受野；2）多级语义信息；3）灵活的感受野形状；4）加速训练和推理速度。

近年来，Transformer 网络由于其全局感受野和对输入的适应性，开始在计算机视觉领域逐渐取代纯卷积神经网络（CNN）。然而，softmax 注意力的二次计算复杂度限制了其在图像去雾任务中的广泛应用，特别是在高分辨率图像上。为了解决这个问题，我们提出了一种新的 Transformer 变体，该变体利用泰勒展开近似 softmax 注意力，并实现了线性计算复杂度。我们还提出了一个多尺度注意力精细化模块，作为补充，以修正泰勒展开的误差。

为了解决以往方法在判别特征学习和频率信息挖掘中的问题，我们提出了一种频率感知的判别特征学习框架。正如图所示，我们的框架同时从RGB域和频率域提取特征，并在框架的早期阶段将其融合。经过特征嵌入后，得到高级表示。框架的最后部分是一个分类器，用于输出输入样本的预测结果。频率线索的挖掘通过我们的AFFGM模块来实现。我们通过简单的逐点卷积块将频率域特征与RGB域特征融合，这有助于减少参数和计算开销。

近年来，我们见证了深度神经网络（DNNs）在图像恢复领域的巨大进步。然而，一个关键的局限性是它们无法很好地泛化到具有不同程度或类型的真实世界退化。在本文中，我们首次从因果关系的角度提出了一种新的图像恢复训练策略，以提高DNNs对未知退化的泛化能力。我们的方法称为失真不变表示学习（Distortion Invariant representation Learning, DIL）将每种失真类型和程度视为一个特定的混杂因子（confounder），并通过消除每种退化的有害混杂效应来学习失真不变表示。

图像恢复任务需要在恢复图像时实现空间细节与高级上下文信息之间的复杂平衡。本文提出了一种新颖的协同设计，能够在恢复过程中优化平衡这些相互竞争的目标。我们的主要提议是一个多阶段架构，通过逐步学习退化输入的恢复函数，将整体恢复过程分解为更易管理的步骤。具体来说，我们的模型首先使用编码器-解码器架构学习上下文化特征，随后将这些特征与一个保持局部信息的高分辨率分支相结合。在每个阶段，我们引入了一种新颖的每像素自适应设计，利用现场监督注意力来重新加权局部特征。多阶段架构的一个关键成分是不同阶段之间的信息交换。

热成像利用红外光谱，在低光照、遮挡和恶劣天气等具有挑战性的环境条件下，提供了一个与可见光谱（VIS）成像互补的强大选择。然而，由于其较低的空间分辨率，热成像在计算机视觉任务中的广泛应用受到了限制。为了解决这一问题，本文提出了一种名为基于通道变换器的多尺度特征融合框架（MSFFCT）的新方法，用于引导热图像超分辨率（Guided Thermal Image Super-Resolution, GTISR）。GTISR 旨在解决热成像分辨率受限的问题。

由于雨条纹的影响，图像通常会丢失感知所需的重要频率信息，图像去雨的目标是解决这一问题，这需要对全局和局部退化进行建模。最近的研究显示，Mamba在利用局部相关性来感知全局和局部信息方面具有高效性和有效性。然而，目前很少有研究尝试将Mamba与频率分析结合起来应用于图像去雨，这限制了其感知基于频率建模（例如傅里叶变换）的全局退化能力。在本文中，我们提出了一种名为FreqMamba的高效且有效的范式，它利用Mamba和频率分析之间的互补性来解决图像去雨问题。通过频率带扩展来挖掘频率相关性，并。

近年来，深度学习方法在阴影去除任务中取得了卓越的成果。然而，大多数这些有监督方法依赖于在大量阴影与无阴影的成对图像上进行训练，这需要繁重的标注工作，并可能导致模型泛化性能较差。实际上，阴影只会对图像形成部分退化，而非阴影区域提供了丰富的结构信息，潜在地适合用于无监督学习。在本文中，我们提出了一种基于扩散模型的无监督阴影去除新方法，该方法分别对阴影区域、非阴影区域及其边界区域进行建模。我们使用一个预训练的无条件扩散模型，并融合非受损区域的信息以生成自然的无阴影图像。

近年来，图像修复取得了显著进展，这主要得益于现代深度神经网络（如CNN和Transformers）的发展。然而，现有的修复骨干网络在实际应用中往往面临全局感受野与高效计算之间的矛盾。最近，选择性结构化状态空间模型（SelectiveStructuredStateSpaceModel），尤其是改进版本Mamba，在长距离依赖建模方面表现出巨大的潜力，并且其复杂度为线性级别，这为解决上述矛盾提供了一种可能。

随着深度学习的发展，图像恢复领域取得了显著的进展。目前的图像恢复方法主要依赖于卷积神经网络（CNN）和Transformer来获取多尺度特征信息。然而，这些方法在特征提取过程中很少有效地结合频域信息，从而限制了其在图像恢复中的表现。此外，几乎没有方法将Mamba与傅里叶频域相结合进行图像恢复，这限制了Mamba在频域上感知全局退化的能力。因此，本文提出了一种新的图像恢复模型FMambaIR，该模型利用频域和Mamba的互补性进行图像恢复。FMambaIR的核心是F-Mamba块。

扩散模型（Diffusion Model，DM）通过将图像合成过程建模为去噪网络的逐步应用，已实现了SOTA（state-of-the-art，最先进）的性能。然而，与图像合成不同，图像修复（Image Restoration，IR）需要强约束以生成与真实图像（ground-truth）一致的结果。因此，对于IR任务，传统DM需要在大型模型上运行大量迭代来估计整个图像或特征图，这种方法效率较低。为了解决这一问题，我们提出了一种高效的用于IR的扩散模型（DiffIR），该模型由紧凑的IR先验提取网络。

图像修复是一个长期存在的低级视觉问题，旨在从低质量图像（例如，降采样、噪声污染和压缩的图像）中恢复高质量图像。虽然最先进的图像修复方法大多基于卷积神经网络（CNN），但很少有研究尝试使用在高级视觉任务中表现出色的Transformer模型。在本文中，我们提出了一种基于Swin Transformer的强基线模型——SwinIR，用于图像修复。浅层特征提取深层特征提取和高质量图像重建。