Unfolding the Alternating Optimization for Blind Super Resolution

Unfolding the Alternating Optimization for Blind Super Resolution

论文信息

• Paper: [NeurIPS2020] Unfolding the Alternating Optimization for Blind Super Resolution
• Link: https://papers.nips.cc/paper/2020/file/3d2d8ccb37df977cb6d9da15b76c3f3a-Paper.pdf
• Code: https://github.com/greatlog/DAN

背景梳理

超分辨率重建

基于图像的超分辨率重建任务(Single Image Super Resolution，SISR)是指对于一张给定的低分辨率图像(LR)，重建出与之对应的高分辨率图像(HR)。也就是说，基于低分辨率图像都是由相应的高分辨率图像经过一些退化得到这样一个假设，用公式描述如下：
$$y=(x\otimes k){\downarrow }_s+n$$

式中$x$代表原始高分辨率图像，$\otimes$表示二维卷积操作，$k$则代表了退化过程中的模糊核，$n$代表加性噪声，${\downarrow }_s$表示s倍的下采样操作。总而言之，上式假定了低分辨率图像是由原始高分辨率图像经由模糊下采样，以及加入噪声进行退化所得。

对于加性噪声的问题，通常会使用前端去噪任务进行滤除，所以在超分辨重建任务中一般不考虑噪声问题，而只考虑模糊和下采样带来的影响。显而易见，图像的超分辨率重建任务就是求上述退化过程的逆过程，但由于信息的缺失，使得超分辨率重建任务是一个ill-posed的任务，也即对于同一张低分辨率图像而言,存在多个可以退化产生该低分辨率图像的高分辨率图像。此外，由于式中存在多个变量，比如模糊核，高分辨率图像等，增加了优化的难度。目前绝大多数超分辨率重建方法，都是基于LR-HR对的监督学习方法。在构建数据集过程中，通常假设低分辨率图像是由高分辨率图像经由Bicubic下采样得到，也即求Bicubic下采样的逆过程，但为了更为贴合实际的退化情况，也有增加高斯模糊核，运动模糊的方法。

Blind Super Resolution

在上述的过程中，引入了一系列的先验假设，比如bicubic下采样，高斯模糊核等等，但在实际场景中，图像面临的退化情况远比上述假设要更为复杂，这使得基于人造数据集训练的超分网络在面对真实场景图像时，性能都会有较大的退化。所以，对于真实场景这一类，模糊核未知的超分辨率重建任务，称为Blind Super Resolution(Blind SR)。 针对Blind SR任务,一个最关键的步骤就是估计退化核$k$，针对退化核估计的问题，目前有基于GAN使用Generator来模拟退化的工作，也有基于逐步校正的思路，在估计完退化核之后，再进行数据集生成或者将退化核作为超分辨重建网络的输入。

主要贡献

作者提出一种基于迭代优化的算法框架(Deep Alternating Network,DAN)，同时端到端的完成退化核估计和超分辨率重建任务。具体而言：

• 通过迭代优化的思路，解决了分两步训练较慢且复杂的问题
• 在迭代中，充分利用重建信息，更好的完成模糊核估计和超分辨率重建
• 获得了SOTA的SISR任务性能

方法

迭代优化

正如在背景介绍中我们介绍的那样，我们要进行优化求解的未知参数有模糊核$k$以及原始高分辨率图像$x$，对于Blind SR任务而言，我们一般采用优化策略是先根据给定低分辨率图像估计出模糊核，然后在将模糊核代入上式求解原始高分辨率图像，如下式所示：
{ k=M(y)x=arg⁡min⁡x∥y−(x⊗k)↓s∥1+ϕ(x) \left\{\begin{array}{l} \mathrm{k}=M(\mathrm{y}) \\ \mathrm{x}=\underset{\mathrm{x}}{\arg \min }\left\|\mathrm{y}-(\mathrm{x} \otimes \mathrm{k}) \downarrow_{s}\right\|_{1}+\phi(\mathrm{x}) \end{array}\right.