复现BasicVSR

已于 2024-09-28 22:33:39 修改
阅读量2.1k 收藏 5
点赞数
分类专栏： 复现模型 文章标签： pytorch python 深度学习
于 2021-12-09 11:29:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_38335768/article/details/121809045
版权

参考官方文档
github地址：https://github.com/open-mmlab/mmediting
操作文档：https://mmediting.readthedocs.io/zh_CN/latest/quick_run.html

开始！！！
1、创建一个虚拟环境

conda create -n  basicvsr python=3.7

basic是虚拟环境的名称 python版本只要是允许的都ok
然后进入虚拟环境

conda activate basicvsr

2、安装pytorch和torchvision

conda install pytorch torchvision -c pytorch

超慢，我就用了pip

注意：****真的会简单快速很多！！！！！！
例1：如果 /usr/local/cuda 文件夹下已安装了 CUDA 10.1 版本，则需要安装 CUDA 10.1 下预编译的 PyTorch。


                

                
                
        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        


    



                



	

		

			

				
					
技压群雄！2021 NTIRE @CVPR 2021的三冠一亚视频超分方案：BasicVSR++

				
			

			

				

					我爱计算机视觉
				

				

					05-08
					
					779
					
				

			

		

		

			
				
论文链接：https://arxiv.org/pdf/2104.13371.pdf代码链接：https://github.com/open-mmlab/mmediting注：该文作者Kel...

			
		

	



                

            
              



	

		

			

				
					
BasicVSR The Search for Essential Components in Video Super-Resolution and Beyond（视频超分论文解析）

				
			

			

				

					qq_41889864的博客
				

				

					03-13
					
					917
					
				

			

		

		

			
				
BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond（视频超分）
提出了一个新的pipeline，BasicVSR。BasicVSR和它的扩展IconVSR可以作为之后超分算法的baseline。

上表是当前VSR方法的各种组成部分。包括传播，对齐，聚合，上采样。
这篇文章的实验建议使用双向传播方案来最大化信息收集，并使用基于光流的方法来估计两个相邻帧之间的对应关系以进行特征对齐。 通过使用简单

			
		

	



              


  
              

                


	

		

			

				
					
RealBasicVSR（CVPR2022）复现过程

				
			

			

				

					weixin_42130300的博客
				

				

					05-12
					
					3525
					
				

			

		

		

			
				
RealBasicVSR（CVPR2022）复现过程，引流：BasicVSR，BasicVSR++，RealBasicVSR，EDVR，MMagic

			
		

	





	

		

			

				
					
底层视觉与MMEditinig代码实战，复现CVPR2022 RealBasicVSR

				
			

			

				

					08-14
				

			

		

		

			
				
与https://www.bilibili.com/video/BV1zq4y1o7ph?p=6&spm_id_from=333.880.my_history.page.click&vd_source=c09213c2eea73b54c3605a89e3d85781相对应，底层视觉与MMEditinig代码实战，复现CVPR2022 RealBasicVSR

			
		

	



		

			
		



	

		

			

				
					
BasicVSR(CVPR2021)复现过程

				
			

			

				

					weixin_42130300的博客
				

				

					05-10
					
					9656
					
				

			

		

		

			
				
BasicVSR（CVPR2021）复现



			
		

	





	

		

			

				
					
轻量且高性能的视频超分算法——BasicVSR

				
			

			

				

					datayx的文章
				

				

					05-16
					
					3968
					
				

			

		

		

			
				
向AI转型的程序员都关注了这个号????????????这篇文章是2021年的CVPR，文章作者是和EDVR同一批的人。该篇文章提出了一个轻量且高表现性能的视频超分framework——BasicVSR。BasicVSR改进了传统VSR结构中的propagation和alignment部分，分别提出了一个双向视频流的循环结构以及基于flow-based的feature-wise对齐方法。此外，在BasicVSR的基...

			
		

	





	

		

			

				
					
超分之BasicVSR++

					
热门推荐

				
			

			

				

					Ton的博客
				

				

					05-10
					
					1万+
					
				

			

		

		

			
				
这篇文章是BasicVSR的升级版本\colorbox{tomato}{升级版本}升级版本​，同一批作者将BasicVSR中的Propagation和Alignment部分进行了增强产生了新一点VSR方法——BasicVSR++。具体而言，Propagation采用了一个Grid-Propagation来重复校正对齐的准确性；更重要的是提出了一个具有二阶马尔可夫性质的跨格点传播机制以及光流引导的可变形卷积对齐模块。通过这3个改进，Basic++取得了SOTA的表现力以及获得了2021年超分挑战赛NTIRE.

			
		

	





	

		

			

				
					
BasicVSR++ Improving Video Super-Resolution with Enhanced Propagation and Alignment 论文解析（视频超分）

				
			

			

				

					qq_41889864的博客
				

				

					03-19
					
					485
					
				

			

		

		

			
				
这篇论文是基于上一篇BasicVSR优化修改的产物，BasicVSR可以看我之前的一篇博客。主要的模型结构如上图，主要的更改在于传播和对齐模块。

传播模块
网格传播
BasicVSR是简单的双向传播，IconVSR是在BasicVSR的基础上加入了Coupled Propagation，将反向传播的信息传输到正向。BasicVSR++在两个维度上扩充了这种变化，一方面，BasicVSR++将一阶马尔可夫过程扩展到二阶，获取相邻两帧的信息，（如第一层反向传播，从上两帧获取信息）。另一方面，又增加了两层传播.

			
		

	





	

		

			

				
					
CVPR21 - BasicVSR：简单有效的视频超分辨率Baseline

				
			

			

				

					要相信光
				

				

					01-13
					
					2389
					
				

			

		

		

			
				
视频超分辨率算法BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

			
		

	





	

		

			

				
					
basic_vsr 代码介绍

				
			

			

				

					tony365的博客
				

				

					10-21
					
					1485
					
				

			

		

		

			
				
1）一个光流预测的网络，预测相邻两帧的 flow class SPyNet(nn.Module) ： # 2）将图像和feature warp到另一帧的视角 def flow_warp(x,

			
		

	





	

		

			

				
					
超分之BasicVSR

				
			

			

				

					Ton的博客
				

				

					05-02
					
					8700
					
				

			

		

		

			
				
这篇文章是2021年的CVPR，文章作者是和EDVR同一批的人。该篇文章提出了一个轻量且高表现性能的视频超分framework——BasicVSR。BasicVSR改进了传统VSR结构中的propagation和alignment部分，分别提出了一个双向视频流的循环结构以及基于flow-based的feature-wise对齐方法。此外，在BasicVSR的基础上，作者进一步对propagation和aggregation进行优化，产生了一个更高表现性能的VSR结构——IconVSR。
参考目录：
①Ba.

			
		

	





	

		

			

				
					
BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond阅读笔记

				
			

			

				

					Gedulding的博客
				

				

					03-17
					
					5993
					
				

			

		

		

			
				
BasicVSR: The Search for Essential Components in Video Super-Resolution and BeyondBasicVSR：寻找视频超分辨率及更高分辨率的关键组件


论文：https://arxiv.org/abs/2012.02181

代码：



本篇笔记主要对整篇论文从头到尾进行阅读分析，如果只对模型部分有兴趣，可直接观看第四部分。



（1）摘要


...

			
		

	





	

		

			

				
					
BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

				
			

			

				

					AI小华仔的博客
				

				

					06-26
					
					415
					
				

			

		

		

			
				
论文阅读

			
		

	





	

		

			

				
					
【图像超分辨率论文】BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond

				
			

			

				

					qq_41807261的博客
				

				

					01-24
					
					855
					
				

			

		

		

			
				
BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond


			
		

	





	

		

			

				
					
BasciSR复现过程

				
			

			

				

					一一
				

				

					12-11
					
					4460
					
				

			

		

		

			
				
复现代码：BasicSR

简单介绍一下代码结构，BasicSR主要是SRResNet，SRGAN，ESRGAN 等几个超分经典模型。



下面我按照GitHub上步骤进行调试。

首先阅读readme文件，了解代码基本情况，以及运行环境等要求。下面开始我们的复现过程：

开始训练SR模型：

在GitHub中wiki有详细的说明。以DIV2K数据集为例，其文件夹结构和元信息如下:


- DI...

			
		

	





	

		

			

				
					
【CVPR2022】《BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment》译读笔记

				
			

			

				

					墨门
				

				

					06-15
					
					724
					
				

			

		

		

			
				
并且，SecondOrderDeformableAlignment类继承了ModulatedDeformConv2d，这表明BasicVSR++模型使用了可变形卷积。但是，根据对mmcv库的了解，ModulatedDeformConv2d实现的是DCNv2，因为在DCNv2中，引入了一个新的模块化参数（modulation scalar）来增强模型的表达能力，而。因此，可以推断，BasicVSR++在其网络模型中使用的可变形卷积（Deformable Convolution）应该是DCNv2。

			
		

	





	

		

			

				
					
BasicVSR++: Improving Video Super-Resolutionwith Enhanced Propagation and Alignment

				
			

			

				

					mytzs123的博客
				

				

					07-01
					
					2055
					
				

			

		

		

			
				
Abstract递归结构是视频超分辨率任务的常用框架选择。最先进的方法BasicVSR采用双向传播和特征对齐，有效地利用整个输入视频中的信息。在这项研究中，我们通过提出二阶网格传播和流引导变形对齐来重新设计BasicVSR。我们表明，通过增强传播和对齐的递归框架，可以更有效地利用错位视频帧中的时空信息。在类似的计算约束下，新组件可以提高性能。特别是，我们的模型BasicVSR++在参数数目相似的情况下，PSNR比BasicVSR高出0.82 dB。除了视频超分辨率，BasicVSR++还可以很好地推广到其他

			
		

	





	

		

			

				
					
BasicVSR 视频超分

				
			

			

				

					weixin_38832460的博客
				

				

					04-19
					
					1497
					
				

			

		

		

			
				
BasicVSR 视频超分






			
		

	





	

		

			

				
					
CVPR2021 | NTIRE2021竞赛“三冠一亚“方案BasicVSR++，Vid4新巅峰29.04dB

				
			

			

				

					聚焦底层视觉处理，对相关基础AI技术持续学习
				

				

					05-02
					
					729
					
				

			

		

		

			
				
编辑：Happy
首发：AIWalker


paper: https://arxiv.org/abs/2104.13371
code: https://github.com/open-mmlab/mmediting

本文是南洋理工大学Chen Change Loy团队在视频超分方面最新进展。在BasicVSR的基础上，将双向信息传播进化为网格状双向信息传播，将光流对齐进化为光流引导的形变对齐，同时利用光流对齐与形变对齐各自的优点得到本文的BasicVSR++。该方案在Vid4数据集上达到了史无前例的2.

			
		

	





	

		

			

				
					
basicvsr++有使用通道注意力机制吗

					
最新发布

				
			

			

				

					03-23
				

			

		

		

			
				
关于 BasicVSR++ 的技术细节，目前公开的信息表明它确实引入了一些改进措施来提升性能。具体到通道注意力机制方面，虽然原始的 BasicVSR 并未显式提及通道注意力机制[^1]，但在后续版本 BasicVSR++ 中，为了进一步提高模型的表现能力，作者可能借鉴了其他先进架构的设计思路，例如 EDSR、RCAN 或 SwinIR 等模型的技术特点。

通道注意力机制的核心思想在于通过对特征图的不同通道赋予不同的权重，从而让网络更加关注重要的语义信息并抑制冗余信息。如果 BasicVSR++ 实现了这一特性，则很可能是采用了类似于 CBAM (Convolutional Block Attention Module)[^4] 或 RCAN (Residual Channel Attention Network) 的设计方式。这些模块通常会计算全局平均池化和最大池化的组合特征，并通过多层感知机（MLP）或卷积操作生成逐通道加权系数。

以下是假设实现的一个简化版代码片段展示如何将通道注意力融入 BasicVSR++ 的框架之中：

```python
import torch.nn as nn

class ChannelAttention(nn.Module):
    def __init__(self, num_channels, reduction=16):
        super(ChannelAttention, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        self.fc = nn.Sequential(
            nn.Conv2d(num_channels, num_channels // reduction, kernel_size=1),
            nn.ReLU(inplace=True),
            nn.Conv2d(num_channels // reduction, num_channels, kernel_size=1)
        )

    def forward(self, x):
        avg_out = self.fc(self.avg_pool(x))
        max_out = self.fc(self.max_pool(x))
        out = avg_out + max_out
        return torch.sigmoid(out)


class EnhancedPropagationBlock(nn.Module):
    def __init__(self, num_channels):
        super(EnhancedPropagationBlock, self).__init__()
        self.channel_attention = ChannelAttention(num_channels=num_channels)
        self.conv_layer = nn.Conv2d(in_channels=num_channels,
                                    out_channels=num_channels,
                                    kernel_size=3,
                                    padding=1)

    def forward(self, x):
        attention_weights = self.channel_attention(x)
        attended_features = x * attention_weights
        output = self.conv_layer(attended_features)
        return output
```

上述代码展示了如何构建一个带有通道注意力机制的传播块 `EnhancedPropagationBlock`，其中融合了自适应均值/最大池化与全连接层的操作逻辑。需要注意的是，实际项目中的实现可能会更复杂一些，涉及更多超参数调整以及针对特定数据集优化的内容。

最后提醒一点，尽管 LOVSR 和 GOVSR 是两种不同的 omniscient video super-resolution 方法分类[^2]，但它们并不直接影响是否采用通道注意力机制这样的局部优化策略。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 6

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值