“Zero-Shot”: Super-Resolution using Deep Internal Learning
简介
以往的深度学习超分辨方法是基于大量的LR-HR数据来训练一个网络的参数,其中生成LR的方法是用诸如MATLAB的imresize函数,这种LR图像被称为 ideal 的。然而实际情况中要超分辨的LR图像往往有是 non-ideal 的:掺杂噪声、未知的降采样核、有aliasing现象等等,如此很难用传统超分辨跑出很好的HR。另外,有一些图像内有的特殊结构不是通过大量数据就能学到的。
作者提出的“Zero-Shot” SR (ZSSR)致力于寻找单张图像内在的信息(exploit the internal recurrence of information within a single image)。在超分辨一张图LR时,对该图再度降采样,学习二者之间的超分辨参数,再用于LR的超分辨。
作者把传统的那些深度学习超分辨方法叫做 SotA supervised CNNs。虽然ZSSR是在test的同时训练的,但是因为网络结构小,因此和SotA supervised CNNs相比test的时间相差不多。
ZSSR的理论基础是:自然图像有很强的的internal data repetition。单张图片内的patch的internal entropy要比自然图像集合的patch的external entropy小很多(尚不明白entropy代表什么)。
网络
- 如上图。LR图像 I I 先再度降采样s倍,成为 。网络学习