总结A Content-Aware Image Prior

最新推荐文章于 2025-04-17 11:42:57 发布

伯兰

最新推荐文章于 2025-04-17 11:42:57 发布

阅读量817

点赞数 1

分类专栏：图像深度学习与图像处理

本文链接：https://blog.youkuaiyun.com/SuperVictim/article/details/88990037

版权

深度学习与图像处理同时被 2 个专栏收录

4 篇文章

订阅专栏

图像

2 篇文章

订阅专栏

一、论文总体结构

二、图像特点

我们使用广义高斯分布来拟合图像梯度

${\rm{p}}(\nabla x){\rm{ = }}\frac{{\gamma {\lambda ^{\frac{1}{\gamma }}}}}{{2\Gamma (\frac{1}{\gamma })}}\exp ( - \lambda {\left\| {\nabla x} \right\|^\gamma })$

(1)

$\Gamma$ 是Gamma function， $\gamma , \lambda$ 是shape参数， $\gamma$ 和 $\lambda$ 分别决定图像的峰值和宽度

我们假设 ${\nabla _{\rm{o}}}x{\nabla _{\rm{a}}}x$ 相互独立，即： $p({\nabla _o}x,{\nabla _a}x) = p({\nabla _o}x)p({\nabla _a}x)$

2.1 空间变化的梯度统计

空间变化梯度分布的两个原因：图像里面的材料以及拍摄距离

例如：

建筑与碎石路相比，建筑会更加平滑
即使是同样的碎石路，如果拍摄距离不一样，那么也会具有不一样的梯度统计特征

2.2在自然图像里面的 $\gamma ,\lambda$ 分布

不同的纹理有不同的 $\gamma ,\lambda$ ，为了研究这一特性，本文做了一个实验，那就是从500幅高质量的图像之中采样了110000幅图像块，每一个图像块的大小为,我们求解 $\gamma$ 和 $\lambda$ 的值来拟合每一个图像块的梯度分布，具体 $\gamma$ 和 $\lambda$ 求解可以使用KL散度来求（KL散度可以度量两个分布之间的差异）

$[\tilde \gamma ,\tilde \lambda ] = \arg \mathop {\min }\limits_{\gamma ,\lambda } {\rm{\{ - }}\frac{1}{{\rm{N}}}\sum\limits_{i = 1}^N {\ln (p(\nabla {x_i}))} {\rm{\} }}$

(2)

上式就是KL散度的简化版

三、自适应图像先验

3.1 图像还原建模

${\rm{y}} = k \otimes x + n$

(3)

K：模糊核 n：噪音 y：模糊图像 x：清晰图像

条件随机场的恢复模型如下：

$p(x|y,k,\eta ) \propto \frac{1}{M}\mathop \prod \limits_i^{} {\Phi _y}(x;{y_i},k,\eta ){\Phi _x}(x)$

(4)

其中

${\Phi _y}(x;{y_i},k,\eta )\; \propto \;\exp ( - \frac{{{{({y_i} - {{(k \otimes x)}_i})}^2}}}{{2{\eta ^2}}})$	(5)
${\Phi _{\rm{x}}}(x)\; \propto \;\exp ( - \lambda {\left\\| {\nabla x} \right\\|^\gamma })$	(6)

上式(4)跟MAP很像。

为了给随着空间而变化的梯度建模，我们引入了一个额外的隐藏变量z，这个变量被称为纹理，z是用来控制图像先验的shape参数的：

${\rm{p}}(x,z|y,k,\eta ) = \frac{1}{M}\mathop \prod \limits_i^{} {\Phi _y}(x;{y_i},k,\eta ){\Phi _{x,z}}(x,z)$

(7)

其中

${\Phi _{x,z}}(x,z) \propto \exp ( - \lambda (z){\left\| {\nabla x} \right\|^{\gamma (z)}})$

(8)

由上式可知， $\gamma ,\lambda$ 已经变成了一个随着纹理变化而变化的值，这样就达到不同的纹理使用不同的梯度先验（以前是使用一组 $\gamma ,\lambda$ 来对整幅图像进行恢复）。我们把z设置为一个连续变量，因为 $[\gamma ,\lambda ]$ 是拖尾分布并且不会形成紧密的群。

我们最大化公式(4)可以估计出清晰的图像，同时，我们令：

${\rm{p}}(x|y,k,\eta ) = \int_{\rm{z}}^{} {p(x,z|y,k,\eta )dz} \approx p(x,\tilde z|y,k,\eta )$

(9)

这里我们为每一个像素都估计一个值。式(9)里面的等式可以看成是边缘概率分布，边缘概率分布函数的公式如下：

${{\rm{f}}_x}(x) = \int_{ - \infty }^{ + \infty } {f(x,y)dy{{\rm{f}}_y}(y) = \int_{ - \infty }^{ + \infty } {f(x,y)dx} }$

(10)

3.2 估计纹理参数 ${\rm{\tilde z}}$

零均值广义高斯分布（也就是我们用来拟合图像先验的分布函数）的一个显著的特点是：方差v和四阶矩f完全决定了shape参数 $[\gamma ,\lambda ]$ :

$v = \frac{{\Gamma (3/\gamma )}}{{{\lambda ^{\frac{2}{\gamma }}}\Gamma (1/\gamma )}},f = \frac{{\Gamma (5/\gamma )}}{{{\lambda ^{\frac{4}{\gamma }}}\Gamma (1/\gamma )}}$

(11)

为了利用这个关系，我们定义了将一个像素i周围的局部纹理 ${\rm{\tilde z}}$ 定义为一个二维向量：

${{\rm{\tilde z}}_i} = [{v_i}(\nabla x),{f_i}(\nabla x)]$

(12)

其中，梯度 ${v_i}(\nabla x)$ 编码了分布的宽度，四阶矩 ${f_i}(\nabla x)$ 编码了分布的峰值，注意，我们很容易就能计算得到 ${v_i},{f_i}$ ，具体的方法是用一个窗口函数来与梯度图像卷积，我们使用的高斯窗口的标准差为4个像素。

一般来说我们应该使用清晰图像来估计,但是因为我们只有模糊图像，那么我可以先手动选择一组参数，然后估计得到一个较为合理的清晰图像，进而估计 ${\rm{\tilde z}}$ ，我们选择的参数为 $[{\gamma _o} = 0.8,{\lambda _o} = 6.5],[{\gamma _a} = 0.6,{\lambda _a} = 6.5]$ 。因为使用固定的参数来重建图像很可能会破坏图像的梯度进而导致估计错误，为了减少这种纹理估计误差，我们对所有维度进行下采样这个反卷积图像（就是上一步使用固定先验进行反卷积之后的图像）2倍（下采样后梯度分布并不会改变，但是反卷积噪音会变少），执行这一步之后估计得到的通常能够更加接近真实的。

3.3 从 ${\rm{\tilde z}}$ 来估计shape参数 $\gamma ,\lambda$

可以直接使用公式(11)来计算 $[\gamma ,\lambda ]$ ，但是求逆的计算量非常大，而且对噪声非常敏感，因此我们可以使用模糊核回归器来将纹理对数 $\ln (\tilde z)$ 映射成为 $[\gamma ,\ln (\lambda )]$ 。

为了学习回归函数，我们从500幅高质量图像中采样了125000幅的图像块，我们用广义高斯分布函数来拟合每一个图像块。

我们使用收集到的数据和LibSVM算法来学习这个 $$[\ln (v),\ln (f)]$ 到 $[\gamma ,\ln (\lambda )]$$ 映射并且使用交叉验证的方式来避免过拟合。

3.4 处理纹理边界

为了估计纹理边界处的shape参数，我们使用高斯条件随机场(GCRF)来对估计的shape参数进行正则化，我们想要平滑纹理边界处的shape参数，我们利用了一个特点：用两个不同大小的窗口来估计 $\tilde z$ 会得到不同的值，小窗口横跨同样的纹理，大的窗口横跨两种不同的纹理，因此会产生不同的 $\tilde z$ 。我们利用这个特点来平滑纹理边界处的shape参数，通过在GCRF中将观察噪音水平定义为不同窗口大小得到的方差v和四阶矩f的均值（这两个不同窗口的大小的像素分别为2个像素和4个像素）。

3.5 实现细节

最终我们最小化下面的式子来估计清晰图像：

${\rm{\hat x = }}\arg \mathop {\min }\limits_x \left\{ {\frac{{{{(y - k \otimes x)}^2}}}{{2{\eta ^2}}} + w\sum\limits_{i = 1}^N {({\lambda _o}({{\tilde z}_i}){{\left\| {{\nabla _o}x(i)} \right\|}^{{\gamma _o}({{\tilde z}_i})}} + {\lambda _a}({{\tilde z}_i}){{\left\| {{\nabla _a}x(i)} \right\|}^{{\gamma _a}({{\tilde z}_i})}})} } \right\}$