Multi-Stage Progressive Image Restoration

最新推荐文章于 2023-10-08 22:40:04 发布

原创

最新推荐文章于 2023-10-08 22:40:04 发布 · 3k 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #深度学习 #python #机器学习

本文介绍了Multi-Stage Progressive Image Restoration (MPRNet)在CVPR 2021中的工作，提出了一种多阶段架构，通过协同设计解决图像恢复中空间细节和上下文平衡问题。模型包含编码器-解码器子网、原始分辨率子网，以及跨阶段特征融合和监督注意力模块。实验展示了在去雨、去模糊和去噪方面的性能。

1. 论文

Multi-Stage Progressive Image Restoration（CVPR2021）

链接：https://arxiv.org/pdf/2102.02808.pdf
代码：http://github.com/swz30/MPRNet

2. 背景

图像恢复任务在恢复图像时，需要在空间细节和上下文信息之间取得复杂的平衡。本文提出了一种协同设计的 MPRNet，可以平衡这些目标。本文主要提出了一个多阶段的架构，逐步学习退化输入的恢复功能，从而将整个恢复过程分解成更容易管理的步骤。

3. 方法

图像恢复框架如图2所示。其包括三个阶段来逐步恢复图像：前两个阶段是基于编码器-解码器（encoder-decoder）的子网络，用来学习较大感受野的上下文信息。由于图像恢复是一个位置敏感的任务，故最后一个阶段采用的子网络在原始输入图像分辨率上进行操作（无降采样），从而在最终的输出图像中保留所需的纹理。

在每两个阶段之间，加入一个监督注意力模块（supervised attention module）。在真实图像的监督下，在将上一阶段的特征图传递给下一阶段之前对其进行重新缩放。此外还引入了跨阶段的特征融合机制（cross-stage feature fusion mechanism），前一个子网络中间的多尺度上下文特征有助于巩固后一个子网络的中间特征。

虽然 MPRNet 堆叠了多个阶段，但每个阶段都能接触到输入图像。我们在输入图像上使用多区域层次结构（multi-patch hierarchy），并将图像分割成非重叠的区域：第一阶段为4个，第二阶段为2个，最后一个阶段为原始图像。

在任何阶段 $S$ ，本文提出的模型不直接预测恢复后的图像 $XS\mathbf{X}_{S}$ ，而是预测一个残差图像 $RS\mathbf{R}_{S}$ ，将退化的输入图像 $I\mathbf{I}$ 添加到其中，得到 $XS=I+RS\mathbf{X}_{S}=\mathbf{I}+\mathbf{R}_{S}$ 。

本文使用以下损失函数来端到端优化 MPRNet：

$\mathcal{L}=\sum_{S=1}^{3}\left[\mathcal{L}_{\text {char }}\left(\mathbf{X}_{S}, \mathbf{Y}\right)+\lambda \mathcal{L}_{\text {edge }}\left(\mathbf{X}_{S}, \mathbf{Y}\right)\right]$

最低0.47元/天解锁文章