Deep Image Prior论文理解

https://github.com/DmitryUlyanov/deep-image-prior
https://dmitryulyanov.github.io/deep_image_prior
https://blog.youkuaiyun.com/muyiyushan/article/details/79093806

Deep Image Prior

问题

1. CNN的优异表现归功于他们能够从大量的例子图像中学习真实的图像先验。
2. 生成器网络的结构足以在进行任何学习之前捕获大量的低级图像统计信息。

做法

我们证明了一个随机初始化的神经网络可以作为一个手工制作的先验。
将结构选择强加的先验贡献与通过学习从外部图像传递的信息贡献区分开来。
不需要建模的退化过程或预训练。

效果

1. 应用在诸如去噪，超分辨率，和inpaint等标准逆问题上有很好的效果。
2. 它还弥补了两种图像恢复方法之间的差距:使用深度卷积网络的基于学习的方法和基于手工图像先验(如自相似性)的无学习方法。

具体

最先进的用于图像恢复和生成的ConvNets几乎都是在大数据集图像上训练的。因此，人们可能会认为，它们出色的表现是由于它们从数据中学习真实图像先验的能力。然而，仅靠学习不足以解释深层网络的良好性能。
因此，泛化要求网络结构与数据结构“共振”。然而，这种相互作用的性质仍然不清楚，特别是在图像生成的背景下。

我们的结果与通常的解释深度学习在图像恢复中的成功归因于学习能力而不是手工先验的说法相反;相反，随机网络是更好的手工创造的先验，学习也建立在这个基础上。这也证明了开发新的深度学习架构的重要性。

我们使用未经训练的ConvNets来解决几个这样的问题。我们没有按照通常的模式在一个大样本图像数据集上训练卷积神经网络，而是对一个退化的图像拟合一个生成器网络。在该方案中，网络权值作为恢复图像的参数化。针对特定的退化图像和任务相关的观测模型，随机初始化并拟合权值，使权值的可能性最大化。
将重建转换为一个条件图像生成问题，并表明解决它所需要的唯一信息包含在单一退化的输入图像和用于重建的网络的手工制作结构中。
因为网络的任何方面都不是从数据中获得的;相反，网络的权值总是随机初始化的，**因此唯一的先验信息是在网络本身的结构中。**据我们所知，这是第一个直接调查由深度卷积生成网络捕获的先验信息而不从图像中学习网络参数的研究。

数据项E(x)的选择;x0)由应用程序指定，稍后将对此进行讨论。通常捕获自然图像的一般先验的正则化器的选择是一个比较困难的研究课题。
人们可能想知道为什么一个高容量的网络可以被用作先验。事实上，人们可以期望能够找到参数恢复任何可能的图像x，包括随机噪声，这样网络就不会对生成的图像施加任何限制。我们现在证明，虽然几乎任何图像都可以被拟合，但网络结构的选择对如何使用梯度下降等方法搜索解空间有重大影响。特别地，我们证明了网络能够抵抗“坏的”解决方案，并且能够更快地下降到看起来自然的图像。结果是最小化(2)要么得到一个好看的局部最优值，要么，至少，优化轨迹经过一个附近。
图2显示了能量E(x;x0)作为梯度下降迭代四种不同选择的图像x0的函数:1)自然图像，2)相同的图像加上附加噪声，3)相同的图像随机屏蔽像素，4)白噪声。很明显。
图中优化在情况1)和 2)，而参数化在情形3)和情形4)中表现出显著的“惯性”。因此，虽然参数化在一定限度内能够拟合非结构噪声，但其拟合能力非常有限。换句话说，参数化提供了高噪声阻抗和低信号阻抗。因此，对于大多数应用程序，我们在优化过程中限制迭代次数
(2)到一定迭代次数。由此产生的先验对应于投影到一个简化的图像集，该图像集可以由带参数的ConvNets从z产生即离随机初始化的0不远的。我们将每个图像的优化步骤设置为2000步。 Set5 [2] and Set14 [32] datasets。虽然我们的方法仍优于基于学习的方法，但它比双三次上采样要好得多。视觉上，它似乎缩小了双bic和最先进的训练之间的差距。