【论文复现】FastDVDNet: Towards Real-Time Video Denoising Without Explicit Motion Estimation

0.Links

已开源 FastDVDNet: https://github.com/z-bingo/FastDVDNet
知乎专栏：https://zhuanlan.zhihu.com/p/73286010

1. Introduction

FastDVDNet是一种视频去噪中的STOA方法，与其他STOA方法有着相近或者更好的性能，但是有着更低的时间复杂度。
计算机视觉中，对于视频去噪的研究相对较少，大多方法还是基于传统的算法，如VBM4D等non-local的方法，还有一些方法是图像去噪方法的简单扩展。由于视频有着较强的时间相关性，那么一个好的视频去噪算法必将要充分利用这一特点。利用时间相关性主要体现为两个方面：

1. 对于给定的patch，不仅要在同一帧的相邻区域搜索像素的patch，也要在时间相近的frame上进行搜索；
2. 使用相邻时间的frame还可以有效减少flockering，因为每一帧之间的残余就会是相关的。

为了解决motion带来的对齐困难问题，DVDNet中使用光流进行了显式的估计，但是光流的计算是比较耗时的，即便是快速算法也是如此。对于encoder-decoder结构的U-Net，其本身具有在感受也范围内对齐的功能，因此，在FastDVDNet中采用了这种做法，也就提高了性能。

2. Network Architecture