BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment阅读笔记

最新推荐文章于 2025-11-26 01:29:21 发布

原创

最新推荐文章于 2025-11-26 01:29:21 发布 · 6.7k 阅读

27 ·

CC 4.0 BY-SA版权

文章标签：

#pytorch #深度学习 #计算机视觉

本文介绍了BasicVSR++，一种改进的视频超分辨率方法，通过增强二阶网格传播和光流引导的可变形对齐，提升了对遮挡和复杂区域的恢复效果，相比于BasicVSR有显著性能提升。

BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment

BasicVSR++：通过增强传播和对齐提高视频超分辨率

论文：https://arxiv.org/pdf/2104.13371.pdf

代码：GitHub - open-mmlab/mmediting: OpenMMLab Image and Video Editing Toolbox

本篇笔记主要对整篇论文从头到尾进行阅读分析，本文内容有点多，主要是对不同部分的总结以及图例解释，如果只对模型原理部分有兴趣，可直接观看第四部分。

本文为了详细说明各图、公式在各组件中的情况，所以对原文图片、公式做了切割和拼接，保证该内容是在该组件中生效的。

（5.1）BasicVSR++相比较其他模型的实验结果：

（5.2）消融实验实验结果：

（5.2.1）二阶传播与网格传播结果对比

（5.2.2）基于光流的DCN对齐

（1）摘要

BasicVSR++是在BasicVSR基础上优化的，(BasicVSR没看的，可以查看我Blog，其中IconVSR提高了0.31dB)，BasicVSR++在其基础组件上进一步优化，在传播组件中使用二阶网格传播，对齐组件中使用光流引导可变形对齐方案，可以更好的利用未对齐视频帧中的时空信息，其中BasicVSR++相比较BasicVSR提高了0.82dB。

（2）引言

BasicVSR中存在限制，在遮挡区域以及复杂区域往往恢复效果一般，所以为了解决这样的问题，本文设计BasicVSR++，在传播和对齐组件上进行优化。提出二阶网格传播以及光流引导可变形对齐。

（2.1）二阶网格传播

如上图所示，经过BasicVSR和BasicVSR++的对比有传播上两点不同：

(1) BasicVSR中前向传播和反向传播之间没有信息交互，无法完全利用互补信息，BasicVSR++设计为二阶网格形式，前向传播和反向传播可以进行信息交互补充。

(2) BasicVSR中遵循一阶马尔科夫链的特性，也就是下一个节点的状态只与前一个节点状态有关，与前两个节点状态无关。BasicVSR++中设计不同的节点信息互联，可以充分利用不同位置的时空信息进行聚合。

（2.2）光流引导可变形

如上图所示，光流评估对于遮挡也没有良好的解决办法，所以BasicVSR++使用可变性卷积对齐。

(1)BasicVSR中进行光流评估之后，直接对特征进行扭曲对齐。而对于原本有遮挡情况效果不行。

(3)BasicVSR++使用可变形卷积对齐，但是可变性卷积的结果不稳定且难以训练，所以BasicVSR++中使用光流评估结果与(光流评估结果与特征的残差偏移量)进行偏移量学习，作为DCN的偏移量。