论文 GP-GAN: Towards Realistic High-Resolution Image Blending 学习笔记-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_39546227/article/details/98354017

1. 模型简介

本文中，作者提出了一种方法，能在给定简单的复制粘贴合成图像（composited copy-and-paste）的情况下，生成高分辨率、且比较真实的融合图像。文章的亮点在于作者将传统的基于梯度的方法与最近出来的 GAN 结合起来，达到生成高分辨率融合图像的目的，这也是 GAN 被用在此领域的第一篇文章。

具体实现的任务如下图：
在这里插入图片描述
（a）图是复制粘贴后的原始合成图像，红线框出来的部分是从其他图复制过来的，我们要达到的目标是能够使该合成图片看起来更加自然、真实，就像我们在 ps 中的 p 图一样。（b）（c）是用其他方法得到的效果，（d）是本文方法得到的效果，显然本文方法得到的最终图像更加真实。

2. 方法实现

2.1. 图像输入

首先我们需要获取我们的原始 copy-and-paste 合成图片，如下图所示。
在这里插入图片描述
写成公式的话就是这样的：
$x=x_{src}*x_{mask}+x_{dst}*(1-x_{mask})$ $x$ 是合成后的图片，如上图（d）， $x_{src}$ 是源图片，如（a）， $x_{dst}$ 是目标图片，如（b）， $x_{mask}$ 是掩模图片，如（c）。在该问题中难以获得真实的融合图像 ground truth，作者在这里直接将 $x_{dst}$ 近似为 $x_g$ （ground truth 图像）。

2.2. 框架描述

作者提出的 GP-GAN 框架主要含有2部分：Blending GAN 以及 Gaussian-Poisson Equation。前者作为颜色约束（colour constraint）使生成图像更加真实、自然，同时伴随一定的模糊，后者作为梯度约束（gradient constraint）进一步提高图像分辨率，使其拥有纹理、边缘等细节。整体框架如下图所示。
在这里插入图片描述

2.3. Blending GAN

损失函数为 L2 损失与对抗损失（Adversarial Loss）的组合。
总损失函数：
$L(x,x_g)=\lambda L_{l_2}(x,x_g)+(1-\lambda)L_{adv}(x,x_g)$ L2 损失：
$L_{l_2}(x,x_g)=\lVert G(x)-x_g \rVert_2^2$ 对抗损失：
$L_{adv}(x,x_g)=\max\limits_D E_{x\in\chi}[D(x_g)-D(G(x))]$
Blending GAN 的生成器 $G (x)$ 网络结构如下图所示。
在这里插入图片描述
输入图像经过训练好的生成器能够得到真实、自然的模糊图像 $\tilde x_l$ 。

2.4. Gaussian-Poisson Equation

在得到 $\tilde x_l$ 后，接下来就是要提高分辨率，得到最后的 $x_h$ ，作者使用 Gaussian-Poisson Equation 加拉普拉斯金子塔（Laplacian pyramid）的方法迭代 s 次，得到最终高分辨率且真实的图像。
在每次迭代获取更高分辨率的 $\tilde x_h$ 时，使用的损失函数为：
$H(x_h)=P(x_h)+\beta C(x_h)$ $P(x_h)$ 就是 Poisson Equation，对应梯度约束（gradient constraint），其目标是使 $x_h$ 与原始合成图有着相同的高频信号，定义如下：
$P(x_h)=\int_T\lVert \textbf{div}\ v-\Delta x_h\rVert_2^2\ dt$ 其中
$v^{ij}= \begin{cases} \nabla x_{src} & \text{if } x^{ij}_{mask}=1 \\ \nabla x_{dst} & \text{if } x^{ij}_{mask}=0 \end{cases}$ $\textbf{div}$ 代表散度， $\Delta$ 代表拉普拉斯算子， $\nabla$ 代表梯度。