Video Super-Resolution with Recurrent Structure-Detail Network阅读笔记

Video Super-Resolution with Recurrent Structure-Detail Network（视频超分与循环的结构-细节网络）
文章检索出处：2020 ECCV
论文：https://arxiv.org/abs/2008.00455

 

代码：https://github.com/junpan19/RSDN

本篇笔记主要对整篇论文从头到尾进行阅读分析，如果只对模型部分有兴趣，可直接观看第四部分。

（1）摘要

        简单叙述本文特点以及提出的内容，本文提出新的循环视频超分算法，对比过去借助时间滑动窗口中的相邻帧然后超分单个参考帧，以及基于循环的算法而言，有效又高效。并在结尾给出了代码。

（2）引言

        用单帧图像以及多帧图像的处理引出视频超分。视频超分可以简单分为显示方式以及隐式方式，显示方式利用运动估计以及运动补偿，对输入帧进行扭曲对齐，利用观测值重建高分辨率目标帧。隐式方式在于利用运动信息进行灵活的运动补偿，避免的运动估计步骤，主要分为动态上采样滤波器以及渐进式融合残差模块。
        本文中的算法，将每一帧都分为结构(structure)和细节(detail)分量，并且根据前一步得到的结构(structure)和细节(detail)信息来超分目标帧。并且在网络中的隐藏状态会随着时间的推移捕捉场景的不同典型外观，通过计算参考帧和隐藏状态下的每个通道的相关性，可以抑制过时信息并且凸显有用信息，对融合信息更具有鲁棒性。

（3）相关工作

        单图像超分方法，（关系不大，不多看了）
        视频超分方法，介绍了显示运动补偿以及隐式运动补偿的原理以及方法。
        本文使用的循环神经网络的介绍

（4）本文方法介绍

本文提出循环网络的总体流程，如下图，虽然是类似于递归/循环神经网络，但是只是利用了将前一刻数据的输出作为下一次的输入。

解释图中各个符号的意义：

                 ：t帧的低分辨率图像              ：t帧的隐式信息

                   ：t帧的Structure分量 （包含的是图像中的低频信息和帧间运动）               

                  ：t帧的Detail分量 （包含的是高频信息和外观上的细微变化）