视频超分TDAN网络结构详解

      视频超分中影响超分性能的最主要因素就是帧间对齐效果的好坏。对于不同帧间的对齐，比较常用的就是光流对齐。但是基于光流对齐的模型需要额外的光流估计网络，光流估计的效果极大地影响着视频超分的性能。因此，如何端到端的完成对齐和重建是很值得思考的。

       TDAN模型虽然是CVPR2020年的入选文章，但是其于2019年就已经提出，并且其改进版EDVR也已经入选CVPR2019。所以作为视频超分中首次以可变形卷积完成特征对齐的文章，TDAN可以作为视频超分的基础文章来看。

       TDAN论文翻译可以在我上传的资源中找到。在此就不再介绍文章的主要内容，仅仅详细解读一下网络的模型结构，以方便大家对照网络模型代码梳理结构流程。

       TDAN网络模型在论文中的结构图如下：

        从图中可以看出模型共分为4部分：特征提取模块、特征对齐模块、低分重建模块、超分重建模块。主要流程就是将相邻的视频帧输入到由1层卷积、5层Residual构成的特征提取模块，获得每一帧视频的特征。随后以中间帧的特征为基础，将与中间帧相邻的4帧特征分别于中间帧拼接后送入到特征对齐模块。特征对齐模块完成的功能是将当前帧的特征利用可变形卷积向中间帧的特征进行偏移，生成对齐后的特征。相邻帧特征对齐以后，被输入到低分重建模块恢复成RGB图像，并以中间帧为参考值计算对齐损失。相邻帧全部对齐并重建为低分对齐图像以后，将5帧图像全部送入到超分重建网络。此处的超分重建网络就是以常见的亚像素卷积完成放大的，其中在特征提取时还用了10层Residual。最终就得到超分的图像了！

       下面我对照作者给出的代码，详细