不用HR参与训练之盲视频超分中的自监督学习

（如需转载等事宜请联系"我爱计算机视觉"）
作者单位：南理工
论文链接：https://arxiv.org/pdf/2201.07422.pdf
代码链接：https://github.com/csbhr/Self-Blind-VSR
编者言：以往的VSR采用监督的方式，生成SR图像与HR进行监督。本文采取自监督的方法（监督LR）来对网络进行训练约束，为盲视频SR算法应用自监督学习的开端之作，代码已开源。

看点

现有的VSR方法通常依赖于监督学习方法，其中训练数据通常由已知或预定义核（例如双三次核）的模糊操作生成。然而，这并不适用于实际应用。为此，本文提出了一种自监督学习方法来解决盲VSR问题，该方法同时从LR视频中估计模糊核、HR视频和生成辅助配对数据以便对VSR网络进行约束。解决了没有HR做监督的VSR问题。

方法

Overview

本方法是一种有效的自监督学习方法，使模糊核、光流和潜在的HR帧可以在没有任何HR监督的情况下同时估计。框架由两个分支组成，如下图所示。主分支用于估计模糊核、光流和潜在HR帧，辅助分支使用LR输入帧和模糊核生成的辅助训练数据来约束光流和潜在HR帧的网络训练，这两个分支中的VSR模块共享相同的网络参数。此外，下图还展示了VSR网络的细节架构。

模糊核估计、光流和潜在的HR帧

VSR模快中采用PWC-Net作为光流估计模型，${\mathcal{N}}_f$表示光流估计网络，采用PWC-Net的默认网络配置。模糊核估计${\mathcal{N}}_k$，特征提取网络${\mathcal{N}}_e$和潜在的HR帧恢复网络${\mathcal{N}}_I$的结构如下图所示。

自监督学习

由于HR和模糊核不可用，一个简单的训练方法是最小化以下损失函数：$${\mathcal{L}}_{\text{self }}=\rho \left({\mathbf{S}\mathbf{K}}_i{\mathrm{x}}_i-{\mathrm{y}}_i\right)$$其中$\rho (\cdot )$通常取L1范数或2范数。然而，直接最小化通常会导致琐碎的解决方案。为了克服这个问题，本文研究了模糊核的性质和图像形成模型来约束模糊核估计和潜在HR帧恢复过程。
由于模糊核的元素通常是稀疏的，故采用一个拉普拉斯先验对${\mathcal{N}}_k$的输出进行稀疏化建模：$${\mathcal{L}}_k={\Vert K_i\Vert }^{\alpha }$$其中α是一个超参数，通常取0。为了规范潜在的HR帧恢复过程，本文采用一个基于图像形成模型的视频退化约束，通过将LR作为HR序列来生成辅助LR帧。基于上述性质，${\mathcal{N}}_I$的输出应该接近LR。为此，约束可以表示为：$${\mathcal{L}}_I=\rho \left({\mathcal{N}}_I\left(\mathcal{C}\left[{\mathrm{L}}_{i-N}^{e,w},\dots ,{\mathrm{L}}_{i-1}^{e,w},{\mathrm{L}}_i^e,{\mathrm{L}}_{i+1}^{e,w},\dots ,{\mathrm{L}}_{i+N}^{e,w}\right]\right)-{\mathrm{y}}_i\right)$$故总的损失函数表示为：$$\mathcal{L}={\mathcal{L}}_{\text{self }}+\lambda {\mathcal{L}}_I+\gamma {\mathcal{L}}_k$$这种SLR的生成方式不禁让编者想起了2021年WACV中的DynaVSR这篇文章，本文可以说是DynaVSR的训练部分的微扩张版本，在HR后增加了下采样，在SLR后增加了上采样，这样就可以只用LR进行监督了。

实验

实施细节

使用REDS数据集作为训练数据集。在生成LR视频时，模糊操作使用不同的高斯模糊核和KernelGAN中的真实运动模糊核。

消融实验

提出的自监督学习方法的损失消融实验，其中，(9)、(6)和(5)分别表示${\mathcal{L}}_I$、${\mathcal{L}}_k$和${\mathcal{L}}_{self}$。

有无HR监督的消融实验，HR监督是更有效的

计算复杂度和模型大小比较，测试像素为720×1280

定量评估

定性评估

在真实世界的模糊核退化下，定性评估如下：