BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond阅读笔记

提出本方案设计的目的：VSR需要考虑时间维度，所以很多模型增加了复杂组件用于这个方面。而强化基础组件(传播、对齐、聚合、上采样)，通过重用和重新设计基础组件，减少复杂组件的加入，提出了BasicVSR，在BasicVSR基础上又提出IconVSR，它提出一种信息填充机制和耦合传播方案，获得比BasicVSR更好的效果。

（2）引言

without bells and whistles. 没有花里胡哨的，就是不通过精调参数，增加数据集等方式，就让模型获得很好的效果。

视频超分(VSR)和图片超分(SISR)不同，视频超分中存在多个高度相关且没有对齐的帧，所以很多模型为了解决时间序列中存在的隐含关系而增加了模型的复杂度，从而导致运行时间复杂，如下图所示：可以看出本次设计的模型在PNSR标准和运行时间上相较其他模型都有良好的优势。

作者将VSR模型中的基础组件进行划分，从两类模型实现方式(滑动窗口(Sliding-Window)以及循环神经网络(Recurrent))进行对比，标注出不同模型在不同组件中的使用情况。如下表

通过对比表格和上述的图1中的数据，发现传播和对齐的组件选择会很大程度上影响模型的性能和效率，所以对于BasicVSR模型和IconVSR在各个组件上的选择如下：

	BasicVSR	IconVSR
传播	Bidirectional(双向传播)	Bidirectional(coupled)(耦合的双向传播)
对齐	基于光流方案( optical flow-based method)	基于光流方案( optical flow-based method)
聚合	Concatenate(特征串联聚合方式)	Concatenate+Refill(信息填充的特征串联聚合方式)
上采样	Pixel-Shuffle	Pixel-Shuffle

耦合传播：前向传播和后向传播之间进行了信息交换，减少由于遮挡或者图像边界造成的误差累积，允许传播以完整的形式访问整个帧序列。

信息填充机制：利用附加模块从稀疏选择的关键帧中提取特征，将特征补充道主网络中进行特征聚合。

（3）相关工作

本章节主要对VSR的相关工作做介绍，现有的VSR方法可分为两个框架：滑动窗口和循环神经网络，但是现有方法为了解决传播和对齐方面的问题产生了许多的复杂组件。本篇论文使用基础组件，双向传播加基于光流的对齐方法就超越了很多方法。然后介绍了IconVSR的信息填充机制，讲述了以往算法对于关键帧和非关键帧的处理，IconVSR通过连接传播分支，使长期信息可以在相互关联的时间间隔内传播。