L0 Gradient-Preserving Color Transfer

Abstract

• 本文提出了一种新的两步颜色传递方法，包括颜色映射和细节保存。
• 为了将源颜色映射到来自图像或调色板的目标颜色，所提出的保持相似性的颜色映射算法使用像素颜色与主导颜色之间的相似性作为现有算法，并强调源图像像素颜色之间的相似性。
• l0梯度保持算法---它缓和了稀疏像素沿颜色区域边界的大梯度，并保留了颜色区域内像素的小梯度。
• 该方法很好地保持了源图像的颜色相似性和图像细节。

Introduction

• 颜色转移是一种图像编辑技术，通过将源图像内容与目标图像或调色板的颜色样式组合来生成新图像。
• 当对源图像应用目标颜色时，成功的颜色转移算法必须同时保留源图像的细节和颜色相似性。
• 基于梯度保持的方法通常试图使得到的图像像素与源图像中的像素具有相同的梯度。
• 为了建立目标和源图像颜色之间的映射，通常假设源图像和目标图像具有相似的全局颜色分布，进行全局颜色映射。
• 目前算法的一个典型缺陷是，当源和目标颜色统计量相差很大时，源图像颜色相似性没有得到很好的保存。基于显性色的算法可以通过两阶段颜色映射策略来缓解这个问题，该策略首先获得从源图像显性颜色到目标图像显性颜色的映射，然后将该映射传播到所有源图像像素。
• 本文提出了一种新的颜色传递方法，以更好地保持图像的细节和颜色相似性。通过基于L0梯度保持模型的新算法，获得了改进的细节保持性能。
• 它不同于现有的梯度保持模型，该模型在颜色转移时处理所有的像素梯度。
• 所提出的L0梯度保持模型强制结果图像中的颜色区域像素梯度保持源图像中的原始值。
• 对于颜色映射，提出一种基于主导颜色的相似性保持颜色映射模型。
• 保持像素相似性的约束会导致大规模的非稀疏优化解，算法采用分层方案来简化计算。这种层次结构通过引入源图像超像素作为样本来实现。

Related Work

• 颜色映射建立源图像和目标图像的颜色对应关系，并将源图像颜色转换为目标图像颜色。与颜色映射相关的算法大致可以分为两类：全局映射和局部映射。
• 莱因哈德等人提出了映射目标图像颜色均值和方差对源图像颜色均值的影响
• Pitie提出了一种N维概率密度函数（PDF）传递方法。连续映射将源图像颜色转换为显示与目标图像颜色相似的PDF的新的颜色集合。
• 肖和马使用了全局直方图匹配算法，强制结果图像和目标图像的颜色直方图相同
• 通常，全局算法的性能取决于目标图像颜色分布和源图像颜色分布之间的相似性。
• 当来自源图像和目标图像的PDF不相似时，算法可能会拉伸源图像中的像素颜色值并导致内容失真.
• 在这些局部算法中，颜色转移在颜色对应和空间关系的存在下发生，策略是首先获得代表性颜色的对应关系，特征点颜色，图像补丁颜色从源图像到目标图像，然后通过GMM和径向基函数插值等技术将对应关系传播到源图像的所有像素颜色。
• 在颜色映射之后，某些图像细节可能会丢失或更改。 它经常发生在具有相似颜色的相邻像素以不同方式映射的地方。 通常使用附加约束来保留先前方法中的图像细节。
• Bonneel 在颜色映射结果上添加了空间滤波步骤，以保留视频细节。
• 苏利用迭代概率颜色映射方法，配备自学习滤波方案和最小化标准化Kullback-Leibler距离的多尺度细节操作程序。
• 我们的L0范数优化方案与在XLJX中提及的工作有关，他们提出了一种基于L0梯度最小化的优化框架，以获得边缘保持图像平滑任务。他们的算法将颜色区域内的像素梯度强制为零，并保留沿区域边界的像素的大梯度。保持L0梯度的优化方案与此不同之处在于它需要保持原始梯度的像素尽可能多。
• 该算法导致颜色区域内的像素梯度通常保持原始值（即，对应的源图像像素的梯度值），并且位于颜色区域边界处的像素梯度可能与其原始值具有很大差异。

Definition of Terms

• 两种颜色的颜色相似性与它们的距离成反比。具体地，给定RGB颜色和，它们的相似性由定义，其中是两种颜色的欧几里德距离，σ是协方差。 参数通常设置为0.005。