CVPR 2022 视频超分比赛冠军算法 BasicVSR+++

已于 2023-10-30 16:22:45 修改
阅读量5.5k 收藏 21
点赞数 3
分类专栏： 深度学习宝典 图像增强 文章标签： 算法 计算机视觉 人工智能
于 2022-06-18 08:52:42 首次发布
本文介绍了视频超分比赛CVPR 2022的冠军算法BasicVSR+++，它是BasicVSR的加强版，通过二阶网格传播和光流引导可变形对齐提升信息聚合能力，性能超越16个同类算法，且代码已开源。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

FBANet cvpr2023

realbasicVSR 有预训练，201M

加强版BasicVSR

在16个同类算法中性能全部最佳

作者介绍

FBANet cvpr2023

预训练模型360M

ICCV2023 ｜FBANet：迈向真实世界的多帧超分-优快云博客

realbasicVSR 有预训练，201M

GitHub - ckkelvinchan/RealBasicVSR: Official repository of "Investigating Tradeoffs in Real-World Video Super-Resolution"

AI的答案是超分辨率算法：

CVPR 2022 | 视频超分比赛冠军算法

现在，在视频超分领域，有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩，登上了CVPR 2022。

它的名字叫做BasicVSR++，是对视频超分SOTA模型BasicVSR的进一步改进。

BasicVSR也曾拿下NTIRE冠军，入选CVPR 2021。

现在，这个BasicVSR+++在基本相同的参数量下，不仅性能大幅超过前辈，PSNR（峰值信噪比，图像质量评估指标）提高了0.82dB，还能应用到更多的视频复原任务中（例如压缩视频增强）。

加强版BasicVSR

BasicVSR采用双向传播(propagation)+特征对齐方式，能够提取整个输入视频中的有效信息进行超分。

但是，它这一基本设计也限制了信息聚合的功效，比如难以恢复精细的细节，尤其是在处理复杂的遮挡区域时。

因此，加强版的BasicVSR++在传播和对齐方面进行了重新改造，采用了二阶网格传播(second-order grid propagation) 和光流引导可变形对齐 (flow-guided deformable alignment)的设计来改善网络中的信息聚合能力，提升遮挡区域的鲁棒性和有效性。

其中，二阶网格可以让信息从不同的时空位置进行前向后后向传播，让特征的传播更有效。

光流引导可变形对齐则可以让帧进行更具鲁棒性的特征对齐。

采用这一对齐方式主要是单纯的形变对齐训练效果不稳定，尽管可变形卷积 (DCN) 网络中具备多样性的偏移量（offset）使形变对齐的性能优于光流对齐。

BasicVSR+++具体架构如下：

给定输入视频，首先采用残差模块对每一帧提取特征；然后这些特征在二阶网络传播中进行信息传播，其中对齐部分采用光流引导形变对齐；完成信息传播后，汇聚特征生成输出图像。

在16个同类算法中性能全部最佳

作者对比了16种不同视频超分算法的性能、参数量以及耗时，结果是BasicVSR++在所有数据集下的两种退化方式中均取得最佳性能（红色代表最佳分数，蓝色代表次佳分数）。

特别地，相比大容量滑动窗口算法EDSR，BasicVSR++获得了1.3dB的性能提升，同时参数量少65%；

相比之前的最新技术IconVSR，BasicVSR++在参数量更少的同时也带来了1dB的性能提升。

更轻量版的BasicVSR++ (S)，相比前辈BasicVSR，也有0.82dB的提升，收益显著。

而在具体效果中，不管是在REDS4、Vimeo-90K-T还是Vid4数据集上，BasicVSR++都能对极细节的图像进行复原，且效果最好。

目前，BasicVSR++的代码已经开源，感兴趣的同学可以去试试。

作者介绍

一作陈焯杰 (Kelvin C.K. Chan) 来自南洋理工大学计算机科学与工程学院，博士三年级在读，本硕毕业于香港中文大学。

目前的研究方向为图像/视频恢复，一共发表过5篇顶会论文。

通讯作者为他的导师吕健勤（Chen Change Loy），南洋理工大学计算机学院副教授，商汤-南洋理工大学联合实验室S-Lab副主任。

他俩也是BasicVSR的原班作者。

BasicVSR++的剩余两位作者分别为：该校二年级博士生周尚辰和该校研究员Xu Xiangyu。

论文地址：
https://arxiv.org/abs/2104.13371

代码：

https://github.com/ckkelvinchan/RealBasicVSR

视频超分辨率重构——BasicVSR++
qq_52053775的博客
05-06 700
为了加强视频帧之间信息的传递和提炼，BasicVSR++采用了二阶网格传播机制，通过增设二阶连接来增强特征的传播，从而在视频序列中实现更加有效的信息交换和精细化的特征提炼。即BasicVSR++结合前两帧的信息预测下一帧，对于当前帧的预测，首先输入前两帧对应的特征图，经过光流对齐，得到对齐后的特征图。最后，将DCN偏移量、mask、特征图输入到DCN模块即可得到最终特征图结果。下图中描述的是一阶光流对齐，二阶操作非常类似，首先，对于前两帧特征图。,分别经过光流对齐，得到对齐后的特征。
CVPR 2022超分辨率论文汇总(附下载及源码链接)
学习带来的快乐最持久~
05-14 9078
本文会持续更新CVPR 2022年超分领域论文，附下载链接及源码，欢迎订阅~ 标题 来源 简介 源码 High-Resolution Image Harmonization via Collaborative Dual Transformations CVPR2022 注意力机制 CDTNet Local Texture Estimator for Implicit Representation Function CVPR2022 隐式表示函数 LTE A Text Attenti
底层视觉与MMEditinig代码实战，复现CVPR2022 RealBasicVSR
08-14
与https://www.bilibili.com/video/BV1zq4y1o7ph?p=6&spm_id_from=333.880.my_history.page.click&vd_source=c09213c2eea73b54c3605a89e3d85781相对应，底层视觉与MMEditinig代码实战，复现CVPR2022 RealBasicVSR
BasicVSR++ 项目常见问题解决方案
gitblog_00572的博客
12-12 771
BasicVSR++ 项目常见问题解决方案 BasicVSR_PlusPlus Official repository of "BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment" ...
GFPGAN - 腾讯开源的图形修复算法修复算法
puterkey的专栏
01-21 1343
GFPGAN是腾讯开源的人脸修复算法，它利用预先训练好的面部修复算法，并且封装了各种丰富多样的先验因素进行盲脸(blind face) 修复，可以对老照片进行很好的修复。
图片、视频超分模型RealBasicVSR安装使用 | 机器学习
阿良的博客
05-08 9439
一个好用的超分模型推荐——RealBasicVSR
技压群雄！2021 NTIRE @CVPR 2021的三冠一亚视频超分方案：BasicVSR++
我爱计算机视觉
05-08 764
论文链接：https://arxiv.org/pdf/2104.13371.pdf代码链接：https://github.com/open-mmlab/mmediting注：该文作者Kel...
BasicVSR++: Improving Video Super-Resolutionwith Enhanced Propagation and Alignment
mytzs123的博客
07-01 2010
Abstract递归结构是视频超分辨率任务的常用框架选择。最先进的方法BasicVSR采用双向传播和特征对齐，有效地利用整个输入视频中的信息。在这项研究中，我们通过提出二阶网格传播和流引导变形对齐来重新设计BasicVSR。我们表明，通过增强传播和对齐的递归框架，可以更有效地利用错位视频帧中的时空信息。在类似的计算约束下，新组件可以提高性能。特别是，我们的模型BasicVSR++在参数数目相似的情况下，PSNR比BasicVSR高出0.82 dB。除了视频超分辨率，BasicVSR++还可以很好地推广到其他
超分之BasicVSR++
Ton的博客
05-10 9765
这篇文章是BasicVSR的升级版本\colorbox{tomato}{升级版本}升级版本​，同一批作者将BasicVSR中的Propagation和Alignment部分进行了增强产生了新一点VSR方法——BasicVSR++。具体而言，Propagation采用了一个Grid-Propagation来重复校正对齐的准确性；更重要的是提出了一个具有二阶马尔可夫性质的跨格点传播机制以及光流引导的可变形卷积对齐模块。通过这3个改进，Basic++取得了SOTA的表现力以及获得了2021年超分挑战赛NTIRE.
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment阅读笔记
Gedulding的博客
03-23 6540
BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment BasicVSR++：通过增强传播和对齐提高视频超分辨率 论文：https://arxiv.org/pdf/2104.13371.pdf 代码：GitHub - open-mmlab/mmediting: OpenMMLab Image and Video Editing Toolbox 本篇笔记主要对整篇论文从头到尾进行阅读分
BasicVSR++ Improving Video Super-Resolution with Enhanced Propagation and Alignment 论文解析（视频超分）
qq_41889864的博客
03-19 470
这篇论文是基于上一篇BasicVSR优化修改的产物，BasicVSR可以看我之前的一篇博客。主要的模型结构如上图，主要的更改在于传播和对齐模块。 传播模块 网格传播 BasicVSR是简单的双向传播，IconVSR是在BasicVSR的基础上加入了Coupled Propagation，将反向传播的信息传输到正向。BasicVSR++在两个维度上扩充了这种变化，一方面，BasicVSR++将一阶马尔可夫过程扩展到二阶，获取相邻两帧的信息，（如第一层反向传播，从上两帧获取信息）。另一方面，又增加了两层传播.
图像超分入门必备：2019CVPR图像超分论文集合免费资源
01-02
包括2019CVPR图像超分论文集合以及论文解读&代码链接 个人整理，点个赞呗~
CVPR2022超分辨率汇总（附论文链接/代码/解析）[持续更新]
qq_20777119的博客
03-28 6419
本文对CVPR2022中超分辨率的文章进行了汇总和分类。
MMediting1.X进行视频超分训练和测试（BasicVsr++）
daweq的博客
05-04 1596
这里值得说的是REDS数据集，在mmediting里面它将原数据的训练和验证两个部分的数据进行了拼贴，然后通过一个参数文件（这些按照官方文件给的参数文件生成代码进行生成就好了）控制那一段数据是训练，哪一段是验证数据，这样可以便于后面的测试。在保存的测试结果里面，我们可以看到日志，参数配置，和图片最后超分的结果，这里给出同一帧位置图像处理前后图片的分辨率，可以看到第一张图为原图片，第二张图为超分之后的结果，可以看出来明显第二张细节更清晰了。按照官方给出的标准测试指令进行测试，下图就是测试的结果了。
BasicVSR++:Improving Video Super-Resolution with Enhanced Propagation and Alignment
liguandong
01-13 601
【第124期】一个视频弄懂视频和照片的分辨率，万物皆可4K120帧！上图比较明显，首先是传播，由原来的双向改成了二阶网格传播，网格传导更有效的利用双向信息聚合，这个和msdn很像的，以便从不同的时空位置聚合信息，改善了网络中的信息聚合能力，并提高了网络对遮挡区域和精细区域的鲁棒性。在上面的ppt中展示了视频超分的四个相互关联的组成部分，传播，对齐，聚合和上采样，这一点和图像超分有点区别，BasicVSR++主要是在传播和对齐两个组件上相对BasicVSR做了优化和改进。_哔哩哔哩_bilibili。
CVPR2021 | NTIRE2021竞赛“三冠一亚“方案BasicVSR++，Vid4新巅峰29.04dB
聚焦底层视觉处理，对相关基础AI技术持续学习
05-02 703
编辑：Happy 首发：AIWalker paper: https://arxiv.org/abs/2104.13371 code: https://github.com/open-mmlab/mmediting 本文是南洋理工大学Chen Change Loy团队在视频超分方面最新进展。在BasicVSR的基础上，将双向信息传播进化为网格状双向信息传播，将光流对齐进化为光流引导的形变对齐，同时利用光流对齐与形变对齐各自的优点得到本文的BasicVSR++。该方案在Vid4数据集上达到了史无前例的2.
CVPR2022 | BasicVSR++ 这视频超分效果太顶啦！
zero的博客
04-14 1409
En点击下方“AI算法与图像处理”，一起进步！ 重磅干货，第一时间送达大家好，我是 阿潘～前段时间商汤&南洋理工大学的视频超分算法获得比赛冠军算法，并入选CVPR 2022！它的名字叫做BasicVSR++，是对视频超分SOTA模型BasicVSR的进一步改进。具体链接参考：一举打败16个同类模型，视频超分比赛冠军算法入选CVPR 2022，来自商汤&南...
BasicVSR++模型转JIT并用c++libtorch推理
凉_白开的博客
03-29 744
BasicVSR++是一种先进的视频超分辨率（Video Super-Resolution）技术，它基于深度学习，通过优化网络结构和算法，实现了对低分辨率视频的高效、高质量放大。该技术结合了时空特征融合、残差学习以及注意力机制等先进方法，有效提升了视频超分辨率的重建性能。 BasicVSR++在保持视频帧间连续性和一致性的同时，显著增强了图像的细节和纹理信息，使得重建后的视频在视觉效果上更加清晰、自然。此外，该技术还具有良好的泛化能力，能够处理各种不同类型的视频内容，包括人物、场景、动态物体等。
探索 **BasicVSR++**：一款强大且易用的视频超分辨率工具
gitblog_00054的博客
04-26 566
探索 BasicVSR++：一款强大且易用的视频超分辨率工具 BasicVSR_PlusPlusOfficial repository of "BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment"项目地址:https://gitcode.com/gh_mirrors/ba/Bas...
basicvsr++有使用通道注意力机制吗
最新发布
03-23
关于 BasicVSR++ 的技术细节，目前公开的信息表明它确实引入了一些改进措施来提升性能。具体到通道注意力机制方面，虽然原始的 BasicVSR 并未显式提及通道注意力机制[^1]，但在后续版本 BasicVSR++ 中，为了进一步提高模型的表现能力，作者可能借鉴了其他先进架构的设计思路，例如 EDSR、RCAN 或 SwinIR 等模型的技术特点。 通道注意力机制的核心思想在于通过对特征图的不同通道赋予不同的权重，从而让网络更加关注重要的语义信息并抑制冗余信息。如果 BasicVSR++ 实现了这一特性，则很可能是采用了类似于 CBAM (Convolutional Block Attention Module)[^4] 或 RCAN (Residual Channel Attention Network) 的设计方式。这些模块通常会计算全局平均池化和最大池化的组合特征，并通过多层感知机（MLP）或卷积操作生成逐通道加权系数。 以下是假设实现的一个简化版代码片段展示如何将通道注意力融入 BasicVSR++ 的框架之中： ```python import torch.nn as nn class ChannelAttention(nn.Module): def __init__(self, num_channels, reduction=16): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc = nn.Sequential( nn.Conv2d(num_channels, num_channels // reduction, kernel_size=1), nn.ReLU(inplace=True), nn.Conv2d(num_channels // reduction, num_channels, kernel_size=1) ) def forward(self, x): avg_out = self.fc(self.avg_pool(x)) max_out = self.fc(self.max_pool(x)) out = avg_out + max_out return torch.sigmoid(out) class EnhancedPropagationBlock(nn.Module): def __init__(self, num_channels): super(EnhancedPropagationBlock, self).__init__() self.channel_attention = ChannelAttention(num_channels=num_channels) self.conv_layer = nn.Conv2d(in_channels=num_channels, out_channels=num_channels, kernel_size=3, padding=1) def forward(self, x): attention_weights = self.channel_attention(x) attended_features = x * attention_weights output = self.conv_layer(attended_features) return output ``` 上述代码展示了如何构建一个带有通道注意力机制的传播块 `EnhancedPropagationBlock`，其中融合了自适应均值/最大池化与全连接层的操作逻辑。需要注意的是，实际项目中的实现可能会更复杂一些，涉及更多超参数调整以及针对特定数据集优化的内容。 最后提醒一点，尽管 LOVSR 和 GOVSR 是两种不同的 omniscient video super-resolution 方法分类[^2]，但它们并不直接影响是否采用通道注意力机制这样的局部优化策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值