Ton的博客

VSR方法大致分为Sliding-windows、Recurrent、Transformer三大类，其中后面两个是目前已被证明更好的方法。现有的视频超分陷入了2个极端，即要么就是Recurrent-based模型，要么就是Transformer-based模型。Recurrent-based模型例如RLSP、BasicVSR、BasicVSR++等通过一帧接一帧的方式对LR图像进行超分。虽然基于RNN会使得模型共享从而产生较小的模型量；此外每次处理一帧也使得运算效率很高；例如VSRT、VRTLRS。...

2022年推出的基于Vision-Transformer的并行视频超分模型——VRT

基于RNN的VSR模型——RLSP

多层级的单图像超分算法小结

这篇文章是2022年的CVPR，不同于之前VSR的对齐方式(即flow-based或者DCN-based)，本文提出的Trajectory-Aware Transformer for Video Super-Resolution(TTVSR)抛弃了传统的对齐方式，该模型利用Transformer的自注意力机制在运动轨迹中寻找相似度最高的patch作为当前帧的对齐帧。这种模型的优势在于其更适用于长序列输入帧情况且大大减少了Transformer的高计算消耗。参考文档①源码光流(flow)用Δ\Delt.

这篇文章参考文档：①Transformer再下一城！ETH提出：视频超分辨率Transformer②浅析Transformer训练时并行问题Video Super-Resolution TransformerAbstract1 Introduction2 Related Work3 Preliminary and Problem Definition4 Video Super-Resolution Transformer4.1 Spatial-Temporal Convolution Self-at

这篇文章是BasicVSR的升级版本\colorbox{tomato}{升级版本}升级版本​，同一批作者将BasicVSR中的Propagation和Alignment部分进行了增强产生了新一点VSR方法——BasicVSR++。具体而言，Propagation采用了一个Grid-Propagation来重复校正对齐的准确性；更重要的是提出了一个具有二阶马尔可夫性质的跨格点传播机制以及光流引导的可变形卷积对齐模块。通过这3个改进，Basic++取得了SOTA的表现力以及获得了2021年超分挑战赛NTIRE.

这篇文章是2021年的AAAI，和EDVR、BasicVSR、BasicVSR++是同一批作者。文章最重要的贡献在于①用一个统一的数学表达式去归纳flow-based对齐(如TSTN)和flow-free对齐(如TDCN)；②得出了两种对齐方式高度相似性；③推出了offset-fidelity作为loss来缓解DCN训练不稳定的问题，这也为后续使用DCN来做对齐的VSR方法解决了后顾之忧。此外，文章还提出了一些关于对齐方面的小知识点，并通过实验进行验证。总的来说，虽然这篇文章的提出的大部分内容大家之前就都.

这篇文章是2021年的CVPR，文章作者是和EDVR同一批的人。该篇文章提出了一个轻量且高表现性能的视频超分framework——BasicVSR。BasicVSR改进了传统VSR结构中的propagation和alignment部分，分别提出了一个双向视频流的循环结构以及基于flow-based的feature-wise对齐方法。此外，在BasicVSR的基础上，作者进一步对propagation和aggregation进行优化，产生了一个更高表现性能的VSR结构——IconVSR。参考目录：①Ba.

这篇文章是2016年的CVPR，虽然目前来说在性能和计算效率上并不佳，但是在当时来说是一种通过较少模型参数加深网络来提升SR表现力的新方法——Deeply-Recursive Convolutional Network(DRCN)。不同于通过增加卷积层数来加深模型，DRCN通过一个递归子模块在共享模型参数下加深网络(类似于循环神经网络RNN)，从而可以提取到更多不同层级的用于重建高分辨率图像的特征。参考文档：①文章转载于博主暖风的一篇文章——超分算法DRCN。Deeply-Recursive Con.

这篇文章是2019年在视频超分领域上的作品，由商汤联合实验室出版。作者推出的EDVR参考文档：①源码②REDS数据集③视频超分：EDVR④论文笔记之EDVREDVR: Video Restoration with Enhanced Deformable Convolutional NetworksAbstract1 Introduction2 Related Work3 Methodology3.1 Overview3.2 Alignment with Pyramid, Cascading an

这篇文章提出了一种结合ResNet结构和DenseNet结构的深度超分网络——Residual Dense Network(后文简称RDN)。RDN基于Residual Dense Block(后文简称RDB)块以及全局残差连接来提取全局特征，而RDB块基于Dense结构和局部残差连接进一步提取局部特征。通过这种结构，作者最大化利用了LRLRLR不同层级的特征，在当时取得了SOTA的表现力。Note：这篇文章和RCAN是同一批作者。参考文档：转载于博主暖风博文：超分算法RDNResNet.

这篇文章是2017年的ICCV。基于经典的VSR框架，作者在对齐网络和时间融合超分网络上都做了一定的该进。其中对齐网络采用了STN的一个变体；对齐后的SR网络使用了结合注意力机制的，可自动选择时间尺度的时间自适应网络，这个超分结构在当时取得了SOTA的表现力。Note：这篇文章提出的结构没有一个简洁的名字，导致其他文章在引用的时候就直接写作者的名字——“Liu”。因此为了本文后面介绍方便，简称作者提出的这个结构为：LTD。参考文档：①视频超分辨论文解读之Rubost Video Super-R.

这篇文章是视频超分(VSR)中flow-free的代表作，不同于VESPCN中采用flow-based，即光流估计方法来对齐相邻帧的做法，本文作者推出的TDAN采用隐式的运动补偿机制，利用可变形卷积重建出非参考帧(支持帧)的估计值，最后使用和VESPCN类似的融合机制实现当前参考帧从LR→HRLR\to HRLR→HR的过程。Note：TDAN这篇文章的核心主要是介绍一种在视频超分方法TDAN，其使用一种新的基于DCN的flow-free的对齐方法，但并没有提出新的融合fusion方法。参考文..

这篇文章是2018年的ECCV，作者主要是为了介绍注意力机制在超分领域的应用以及基于注意力机制的这个SR网络——Residual Channel Attention Networks(后文简称RCAN)。RCAN是一种基于Residual In Residual(后文简称RIR)结构的深度网络，他利用残差网络的特性来加深网络；RIR由多个Residual Groups(后文简称RG)组成，每个RG由多个Residual Channel Attention Blocks(后文简称RCAB)组成；而每个RCA.

这篇文章是SRCNN作者在SR网络结构、超参数配置等大大小小多个方面的优化，从而实现了加速版SRCNN——FSRCNN超分网络结构，其具有real-time的优势，且在表现力上也胜过SRCNN。FSRCNN发表于2016年，其结构中的一些思想在如今超分网络的设计中仍具有很多可以启发的点。Note：文章转载于博主暖风的超分算法FSRCNNN:Accelerating the Super-Resolution Convolutional Neural Network 图像超分辨率重建。此外，本文标注了.

这篇文章不再是只针对Single-Image做超分，而是主要为了提升视频的分辨率；本文由Twitter推出了一种称之为VESPCN的网络结构，主要利用运动估计模块和时序空间模块来对连续帧输入做超分。VESPCN是第二代ESPCN，解决了ESPCN无法利用视频具有高度时间冗余的特点，因此VESPCN将ESPCN升级成Spatial-Temporal-sub-pixel卷积网络，并结合运动补偿完成视频超分任务，此外VESPCN在single-Image上可以减少一定程度的资源消耗。参考目录：①深度学习端到.

这篇文章是2016年发表在ECCV上的一篇SR文章，是SRCNN的进阶版——Fast-SRCNN，由SRCNN的同一个作者所发表。Accelerating the Super-Resolution Convolutional Neural NetworkAbstractAbstract是

这篇文章推出了一种具有亚像素卷积层结构的SR算法——ESPCN；相比于SRCNN直接对HRHRHR领域像素做卷积，ESPCN是直接对输入LRLRLR像素做特征提取，在当时来说，可以算是一种提高计算效率的有效途径。参考文档：①Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural NetworkAbstract1 Introduction2 Method2.1.

这篇文章是2021年CVPR会议论文，核心思想是用CNN网络训练一个LUT-Based的超分方法；由于表中存储了输入像素对应的HR像素值，故在测试的时候，我们只需要从表中进行读取(当然实践中还会增加插值操作，后续会讲到)。这篇文章是查表法在SR领域的首篇应用，推出的SR-LUT算法以快速实现LR→SRLR\to SRLR→SR为特点，当然也存在着一些可改进点。参考文档：①源码(Pytorch)②【CVPR2021】Practical Single-Image Super-Resolution Usi.

这篇文章是SRResnet的升级版——EDSR，其对网络结构进行了优化(去除了BN层)，省下来的空间可以用于提升模型的size来增强表现力。此外，作者提出了一种基于EDSR且适用于多缩放尺度的超分结构——MDSR。EDSR在2017年赢得了NTIRE2017超分辨率挑战赛的冠军。参考目录：①深度学习端到端超分辨率方法发展历程②【图像超分辨】EDSR③源码(Pytorch)④源码(Facebook-torch)⑤源码(Tensorflow)Enhanced Deep Residual Netw

这篇文章介绍SRResNet网络，以及将SRResNet作为生成网络的GAN模型用于超分，即SRGAN模型。这是首篇在人类感知视觉上进行超分的文章，而以往的文章以PSNR为导向，但那些方式并不能让人眼觉得感知到了高分辨率——Photo-Realistic。参考目录：①：SRResNet概要②：深度学习端到端超分辨率方法发展历程③：GAN-李宏毅④：GAN的理解(内含③中PPT)⑤：Pytorch源码Photo-Realistic Single Image Super-Resolution U.

这篇文章的总体网络架构和DCSCN这篇很类似：通过构建一个具有skip connection结构的end-to-end的CNN网络。文章推出的新模型被称之为SRDenseNet，其利用Dense块作为基本结构，使用skip connection来结合低层特征信息和高层特征信息，然后通过反卷积网络进行图像重建，从而实现LR→HRLR\to HRLR→HR的转变，并且也说明不同深度层的特征之间包含的信息是互补的。参考文档：①深度学习端到端超分辨率方法发展历程Image Super-Resolution.

这篇文章是2014年的一篇论文，其主要意义在于作者推出的SRCNN是深度学习在超分上开篇之作！SRCNN证明了深度学习在超分领域的应用可以超越传统的插值等办法取得较高的表现力。参考目录：①深度学习图像超分辨率开山之作SRCNN（一）原理分析②深度学习端到端超分辨率方法发展历程SRCNN1 SRCNN简介2 SRCNN模型结构3 Loss function：4 实验4.1 setup4.2 实验结果4.2.1 performance4.2.2 runtime5 进一步研究5.1 滤波器学习情况5.2.

这篇文章介绍了一种轻量级全CNN网络的Super-Revolution(超分)算法。参考文档：①DCSCN论文阅读笔记自适应parametric ReLUParametric ReLUPSNR&SSIMFast and Accurate Image Super Resolution by Deep CNN with Skip Connection and Network in NetworkAbstract1 Introduction2 Related Work3 Proposed M.