论文：No Attention is Needed: Grouped Spatial-temporal Shift for Simple and Effificient Video Restorers

论文：No Attention is Needed: Grouped Spatial-temporal Shift for Simple and Effificient Video Restorers

问题：

该框架的关键是分组时空变换，它简单、轻量级，但可以隐式建立帧间对应关系，实现多帧聚合。结合基本的二维U-Nets进行帧级编码和解码，这种高效的时空偏移模块可以有效地解决视频恢复的难题。

主要工作：

• 帧预恢复。严重退化(如噪声和模糊)的存在将严重阻碍帧间时间对应关系的建立。第一阶段的主要目标是通过每帧的初始恢复来减轻不利影响，该阶段采用二维帧级U-Nets。

• 多帧融合。提出了一种简单、轻量级的分组时空漂移模块，实现隐式时间对齐和有效的多帧特征聚合。将输入片段的特征在空间和时间维度上分别进行移位，并通过二维卷积块进行融合。这种移位操作的计算成本最小，但仍然可以通过叠加多个时空移位块来实现长期的信息聚合。

• 帧恢复。在隐式聚合多帧特征后，采用二维帧级U-Nets重构每帧的最终结果

要点

多帧聚合

将相邻帧的不同特征组移到参考帧上，隐式地建立时间对应关系。将关键帧特征${\left\{f_i\in R^{H\times W\times C}\right\}}_i^T$与相邻帧的特征完全聚合，得到相应的聚合特征$\{A_i\in R^{}$