Stay hungry,stay young

发表在CVPR2020。主要工作：将连续的视频帧根据时间间隔分为多组，然后通过一个注意力模块和组间融合模块进行集成，同时，为了对齐大尺度运动的视频帧，采取了与以往基于光流或者可变卷积不同的对齐方式，本文采用的是计算两个连续帧之间的单应性矩阵，然后将邻帧扭曲到参考帧。整体架构组内融合模块（Intra-group Fusion Module）包括三个部分，第一部分有3个单元作为空间特征提取，每个单元由一个3x3卷积层、BN和ReLU组成，每个卷积层根据不同的帧率采用不同的扩张率，主要是.

B, N, C, H, W = aligned_fea.size() # N video frames#### temporal attentionemb_ref = self.tAtt_2(aligned_fea[:, self.center, :, :, :].clone()) # [B, C, H, W]## embeddingemb = self.tAtt_1(aligned_fea.view(-1, C, H, W)).view(B, N, -1, H, W) # [B*...

发表在ICCV2017。帧间的时间关系，帧内的空间关系。主要有两个工作：时间自适应网络和空间对齐网络。可以看到空间对齐网络是时间自适应网络的预处理阶段，将对齐的视频帧和参考帧作为时间自适应网络的输入。时间自适应网络主要包括两个部分：SR推断分支和时间调制分支，SR分支采用ESPCN作为对不同数量的连续视频帧超分处理的方法，时间调制分支是为了对每个推断的分支生成像素级的...

发表自CVPR209（oral），是一篇关于光场图像超分的文章，关于什么是光场图像，可以参考光场成像原理。在那篇文章中也提到，所采集光场的角度分辨率和位置分辨率相互制约，满足：位置分辨率×角度分辨率=CCD像素个数。因此所获得的图像的空间分辨率一般不会很高。文章没怎么读懂，对光场图像也不熟悉，先mark一下。...

发表自ECCV2018.主要工作：1.使用了两个判别器，分别作用于图像和特征图。2. 提出了具有远程跳跃连接的生成器。GAN:生成器损失：判别器损失 :其中表示判别器的输出，也就是图像是从真实的图像分布中进行采样得到的概率。我们知道log函数在底数大于1时是增函数，所以对于生成器，必定是希望生成的图像被判别器判别为真实的图像的概率越大越好，所以...

发表在ICPR2018.作者认为图像超分辨率主要是对微小细节纹理的恢复，也就是高频信息。因此，本文提出了使用一种基于注意力的方法去判别纹理区域和平滑区域（使用类似U-net的结构去找出存在纹理的区域然后通过sigmoid生成mask）。主要工作：分为特征重建网络和注意力产生网络。网络结构一目了然。...

发表在AAAI2019。主要工作：充分利用低分辨率到高分辨率的空间信息，从连续的视频帧建模时间的一致性。对于空间部分，设计了残差可逆块用于减少特征转换中的信息损失，并且提供鲁棒的特征表示。对于时间部分，使用了残差稠密连接的循环卷积模型。在重建模块，提出了基于稀疏策略的融合方法，用于合并时间特征和空间特征。目前捕捉连续帧的时间一致性的方法分为两类：基于运动补偿的方法，提取显式的运动信息，如光...

发表自TPAMI2019。会议的版本发表在CVPR2017(Deep Laplacian Pyramid Networks for Fast and Accurate Super-Resolution)。主要的工作：在多金字塔层渐进地重建高分辨率图像的子带残差，直接从低分辨率输入特征提取特征，使用了Charbonnier损失函数（可以更好地处理异常值），使用递归层去共享金字塔层内和层间的参数。...

发表在CVPR2019。针对的问题：为了自动地和同时地挖掘视频的时空信息，可以使用3D卷积。但是3D卷积会带来更多的参数量和计算复杂度； 残差恒等映射的大量使用增加了计算复杂度和模型负担.主要工作：快速时空残差网络（FSTRN）; 快速时空残差块（FRB）; 全局残差学习（GRL），包含LR空间残差学习（LRL）以及跨空间残差学习（CRL）FSTRN:网络结构：...

NTIRE2017年冠军(EDSR)。本文提出了两个网络，第一个是单尺度的增强深度超分网络（EDSR），第二个是多尺度深度超分系统（MDSR）。针对的主要问题有两个：模型调优； 现有的SR方法没有利用图像多尺度之间的相互关系。虽然VDSR可以可以单网络处理多尺度，但是要求以双三次插值的图片为输入，相比于特定尺度的上采样方法增加了计算量和内存。SRResNet虽然可以处理时间和内存问题...

发表在ECCV2018。介绍：本篇文章是一种reference-based super resolution（RefSR），关键在于将参考HR图像的高频细节迁移到LR图像，由于参考HR图像和LR图像之间视差和分辨率较大的差异（8x），现有的RefSR方法存在块间不匹配，网格效应和优化不高效的问题，本文提出一种端到端的全卷积神经网络，使用了跨尺度扭曲，包含图像编码器，跨尺度扭曲层和融合解码器：编...