剪影照片风格迁移方法

剪影照片风格迁移

摘要

剪影摄影受到摄影师的欢迎。然而，由于相机、天气和技巧的限制，普通用户很难拍摄此类照片。在本研究中，我们提出了一种自动的照片风格迁移方法，能够生成逼真的剪影图像。首先，我们提出一种天空分割方法，将输入图像划分为对象前景和天空背景。然后，针对背景部分，我们采用基于指定天空照片的统计颜色迁移方法进行颜色迁移。最后，为了生成自然的结果，我们开发了一种自适应方法，根据从风格化后的背景计算出的环境颜色来调整对象前景的颜色。实验结果表明，我们的方法能够实现令人满意的天空分割结果，并生成美观的剪影照片。

关键词 ：剪影摄影 · Photo风格迁移 · Sky分割 · 颜色迁移

1 引言

剪影照片具有吸引力且富有启发性，其中明暗之间的强烈对比使照片更具戏剧性、神秘感和表现力。然而，剪影摄影高度依赖天气和光照条件。拍摄剪影的最佳时间是在黎明或黄昏，此时太阳位于低空。此外，还需要专业的拍摄技巧。因此，普通用户很难拍摄出剪影照片。

对于照片风格迁移，一些研究人员直接使用颜色迁移方法，例如 Reinhard 等的早期工作[1]以及一些改进的全局颜色迁移方法[2–4]。这些方法适用于风景照片的单一光照变化。最近，一些基于学习的方法被广泛应用于各个领域[5, 6]。在常见的图像风格化中，一些基于深度学习的方法[7, 8]已表现出良好性能。然而，剪影摄影不仅仅是全局光照的变化，它还需要特殊的相机设置来突出对比度。据我们所知，以往的研究尚未涉及剪影照片风格迁移。

为了解决这一问题，我们提出了一种自动示例式照片风格迁移方法，可将普通照片转换为逼真的剪影图像。我们的工作在理念上与这两篇论文[9, 10]相似，它们旨在克服拍摄带有天空背景照片时的局限性。然而，这两项工作通过天空替换来实现天空图像风格化。相比之下，我们提出了新颖的颜色迁移方法，确保原始照片内容不被改变。

为了实现这一目标，我们将本工作分为两部分：一部分是天空分割，另一部分是颜色迁移。我们方法的整体框架如图1所示。具体而言，考虑到剪影照片的背景在大多数情况下为天空，我们首先提出一种适用于此类语义图像的关键背景区域提取算法。关键前景区域则通过图像显著性检测方法提取。

然后，将这两类关键区域应用于改进的OneCut[11]算法，实现自动的天空分割。此外，我们采用指定的天空照片作为背景，实现了一种统计颜色迁移方法。根据剪影照片的光学艺术特性，我们还开发了一种自适应颜色校正方法，该方法考虑了从风格化后的背景计算得到的环境颜色，以实现前景的自然颜色迁移。

总之，我们的工作主要贡献包括：

• 我们提出了一种用于图像剪影照片风格迁移的新颖的方法。基于天空分割，对背景和前景采用不同的颜色迁移方法。
• 我们提出了一种基于OneCut的自动天空分割算法，该算法也可应用于需要天空分割的其他场景。针对以天空为背景的图像，提出了一种基于局部区域相似性的关键背景区域提取算法，以实现天空分割。
• 我们根据环境颜色开发了一种自适应前景颜色校正方法。该方法基于背景颜色迁移结果计算环境颜色，不仅可以使风格化结果与背景协调，还能在物体边缘产生光晕。

2 算法

给定一幅输入图像，我们的目标是自动生成逼真的剪影风格化图像。为实现这一目标，我们首先将输入图像分割为前景和背景。详见第2.1节。在第2.2节中，分别给出了背景和前景的不同颜色迁移方法。

2.1 天空分割

剪影的形态特征明显，物体的细节隐藏在暗处，而轮廓则显露出来。这正是剪影摄影的魅力所在。因此，物体轮廓的提取对剪影效果至关重要。本文中的剪影风格化算法基于图像分割。

基于图论的分割方法是图像前景‐背景分割的主要方法之一。博伊科夫等人[12]于2001年提出了首个基于图割的交互式图像分割方法。自此以后，研究人员在此基础上提出了多种分割方法[11, 13]。其中，OneCut[11]采用了一种简单的一元项，能够在一次图割中保证全局最优解，并避免许多应用中的NP难问题。它是目前最优秀的图割算法之一。

但上述所有方法都需要用户交互。在实际应用中，用户交互会带来诸多麻烦，且这些方法受交互影响较大。基于深度学习的分割方法，例如[14, 15]，最近变得相当流行。虽然这些方法可以产生良好的分割结果，但其较高的计算开销使它们不适合我们的简单分割掩码。因此，我们通过移除用户交互来改进OneCut，以实现自动分割。

分割分为三个步骤。首先，我们需要提取关键背景区域。然后，在第二步中提取关键前景区域。在第三步中，我们将这些关键区域应用于天空分割。

关键背景区域提取

由于剪影图像的背景几乎都是天空，我们提出了一种基于局部区域相似性的关键背景区域提取算法，该算法适用于此语义。首先通过改进的BPLRs检测器提取局部区域[16]。然后，考虑到天空明显的颜色特征，我们通过颜色直方图计算每个局部区域的特征。最后，通过特征匹配找到背景的关键区域。

BPLRs检测器是一种密集局部区域检测器，能够生成可重复且保持形状的区域。在我们的BPLR实现中，首先使用L0平滑[17]对图像进行处理。该方法通过去除较小的非零梯度，有效消除噪声和不重要的细节，从而有利于后续的 BPLRs检测。然后，我们使用[18]进行快速边缘检测，以确保检测到的局部区域不会跨越边缘。此外，在我们的方法中，检测到的区域面积能够根据图像分辨率自动调整。

我们从由我们创建的天空图像集中检测BPLR，并随后从BPLR中提取颜色直方图。该图像集中的BPLR检测和特征提取均已预先处理。类似地，对于每张输入图像，我们检测其BPLR并提取BPLR的颜色直方图特征。然后，通过k‐最近邻算法将输入图像的特征与天空图像集中预处理的特征进行匹配。我们找出50个最佳匹配，并将对应的局部区域用作关键背景区域。

关键前景区域提取

由于剪影照片的前景通常是具有明显轮廓的人或动物，我们使用显著性区域检测算法[19]来获得高质量的显著性图，然后通过对显著性图进行阈值分割得到显著对象区域。这些显著对象区域在我们的天空分割方法中被视为关键前景区域。

分割

与繁琐的手动标注不同，上述步骤自动获取的关键区域被用作 OneCut的输入，从而实现了基于OneCut的自动天空分割。此外，考虑到我们的剪影风格化算法对物体轮廓的依赖性，我们使用密集条件随机场优化分割结果[20]。然后可以通过第2.2节介绍的颜色迁移方法获得剪影图像2.2。

2.2 颜色迁移

在本小节中，我们介绍所提出的颜色迁移算法。前一步骤获得的初始分割结果在边界周围较为粗糙。在实践中，平滑滤波器[21, 22]被广泛用于确保图像的平滑性。我们采用导向滤波器[22]来确保边缘平滑。

基于人类视觉特性与图像感知，在LAB颜色空间中，亮度和色度是完全独立的。对于自然场景，LAB颜色空间中各通道之间的相关性将降至最低，更适合人类视觉系统。因此，整个颜色迁移过程在LAB颜色空间中实现。

给定输入图像I，我们首先将其从RGB转换到LAB颜色空间。然后分别对前景和背景进行迁移。为了在剪影风格化图像的前景与背景之间生成自然的过渡，我们在迁移过程中引入了似然性。可以根据导向滤波器，通过以下公式获得像素x处前景/背景的似然性值：

$$
P_b(x) = g(x)/255, \quad (1)
$$
$$
P_f(x) = 1 - P_b(x), \quad (2)
$$

其中$g(x)$表示在引导滤波后的分割掩码上像素x的灰度值，其取值范围为0到255。其中，灰度值既不为0也不为255的像素属于过渡区域，将同时参与背景颜色迁移和前景颜色校正。$P_b(x)$和$P_f(x)$分别为像素x处的背景/前景似然值。

Background Color Transfer

考虑到背景颜色迁移过程中的语义一致性，我们仅将参考天空图像中的颜色统计信息迁移到输入图像的背景中。参考天空图像应在早晨或傍晚拍摄，且包含丰富多彩的阳光辉光。

对于亮度，我们将迁移过程表述为类似于[10]如下所示：

$$
L^O_b(x) = L^I_b(x) + P_b(x) \times \hat{L}, \quad (3)
$$

其中$L^I_b(x)$和$L^O_b(x)$分别为像素x处输入/输出的背景亮度。然后可以计算新的期望亮度均值为：

$$
\hat{L} = \beta(L^R_b - L^I_b), \quad (4)
$$

其中$L^I_b$和$L^R_b$表示输入/参考图像的背景亮度均值。这里 $\beta$定义为：

$$
\beta = \tanh(|C^I_b - C^R|) \quad (5)
$$

其中$C^I_b$和$C^R_b$分别为输入/参考图像的背景色度均值。这表明当背景相似时，我们将保留输入图像的亮度；而当输入与参考背景显著不同时，则会调整更多亮度以匹配参考背景。

对于色度，迁移算法类似于[4]的正则化匹配方法。它使用多元高斯分布对色度分布进行建模，并将参考天空的高斯统计$N^R_b(\mu^R_b,\Sigma^R_b)$映射到输入背景的$N^I_b(\mu^I_b,\Sigma^I_b)$，如下所示：

$$
C^O_b(x) = P_b(x)\times(T(C^I_b(x) -\mu^I_b)+\mu^R_b) \quad \text{s.t. } T\Sigma^I_b T^T = \Sigma^R_b, \quad (6)
$$

其中$C^O_b(x)$和$C^I_b(x)$分别为输出/输入在像素x处的背景色度。T是一个线性变换，用于在这两个区域之间映射色度。为了避免颜色伪影，对$\Sigma^I_b$的裁剪对角元素进行正则化处理：

$$
\Sigma^{I’}_b = \max(\Sigma^I_b , \lambda_r I), \quad (7)
$$

其中$I$是单位矩阵且$\lambda_r = 7.5$。然后，颜色变换可以通过以下[3]求解：

$$
T = (\Sigma^{I’}_b)^{-1/2} \left( (\Sigma^{I’}_b)^{1/2} \Sigma^R_b (\Sigma^{I’}_b)^{1/2} \right)^{1/2} (\Sigma^{I’}_b)^{-1/2} \quad (8)
$$

3 结果

在本节中，我们将首先评估我们的天空分割方法，然后测试剪影照片风格迁移方法的有效性。

3.1 天空分割评估

由于现有数据集无法满足我们的需求，我们构建了一个包含45张动物、人物和风景图像的小型数据集，背景为天空，用于验证我们的天空分割算法的有效性。这些图像包含从互联网下载的34张图像以及从MSRA1K数据集[23]中选出的符合我们要求的11张图像。我们手动标注了真实标注。

我们将我们的分割算法与OneCut进行比较[11]，后者由我们提供了足够的标注。在关键前景区域提取阶段，通过[19]获得的显著性图的像素值范围为0到255。像素值越大，对应区域的显著性越高。实践中，我们经验性地将阈值设为220。一些天空分割结果在图3中进行了可视化展示。我们可以发现，我们的分割方法不仅消除了人工干预，而且对大多数图像的分割结果有所提升。

尽管所提出的分割算法通常优于原始的OneCut，但它会受到显著性检测效果的影响。由于显著性检测效果不佳，某些风景图像的分割结果不理想（参见图3的最后一列）。在未来工作中，我们计划提高天空分割方法的鲁棒性。

3.2 剪影照片风格迁移的性能

我们使用在黎明或黄昏拍摄的天空照片来测试我们的剪影照片风格迁移方法，如图4所示。为了进行比较，我们还提供了未进行前景颜色校正的结果（见图4d）以及其他两种风格迁移方法的结果[1, 2]（见图4e, f）。显然，未进行前景颜色校正的结果显得生硬。从视觉效果来看，图4e的结果不够真实，且无法展现云层的效果。我们还可以发现，图4f中每幅图像都存在一些细节失真，有时用户难以接受。我们的算法结果不仅避免了这些失真，还突出了剪影摄影，并在前景物体的边缘产生柔和效果。由于我们的算法是计算机模拟剪影照片风格的首次尝试，因此在剪影照片风格方面尚无现有方法可供比较。

4 结论

本文提出了一种新颖的图像剪影照片风格迁移方法。不同于其他照片风格迁移方法，我们强调前景与背景之间的对比度，这是剪影照片的显著特征。为实现这一目标，我们提出了一种自动天空分割方法，并应用了颜色迁移方法。此外，我们还开发了一种自适应前景颜色校正方法，以协调前景与背景。实验表明，我们的系统在生成具有剪影照片风格的图像方面表现出良好性能。

未来工作方面，我们希望进一步改进天空分割方法，因为我们的迁移方法依赖于精确分割。