An Overview of Color Transfer and Style Transfer for Images and Videos

颜色迁移：将目标图像或视频的外观迁移到源图像或视频上
风格迁移： 将源图像（如一幅绘画）的 “风格” 迁移到目标图像或视频上，使其具有与源图像相同的风格

图像颜色迁移

图1.两个图像之间的颜色迁移

现有的颜色迁移方法可分为三类：基于 统计信息 的颜色迁移方法 、基于 几何 的颜色迁移方法和基于用户交互的颜色迁移方法。

A.基于统计信息

全局颜色迁移

Reinhard等人开创了图像之间的色彩转移技术。该方法利用图像的两个统计指标（均值和标准差），将目标图像的全局色彩统计信息转移到源图像上，使源图像具有与目标图像相似的色彩分布。此方法在lαβ色彩空间中实现，通过调整每个像素的色彩分量来实现色彩转移（图1）。

局部颜色迁移

当源图像和目标图像的色彩分布差异较大时，全局色彩转移方法的效果可能不理想。因此，研究人员开发了局部色彩转移方法。

• Tai等人利用高斯混合模型实现图像之间的局部色彩转移；
• Irony等人提出了一种基于更高层次特征的局部色彩转移方法；
• Nguyen等人提出了一种考虑色彩 gamut 的色彩转移方法；
• Hwang等人提出了一种基于移动最小二乘法的色彩转移方法；
• Liu等人提出了一种通过椭球色彩混合图进行选择性色彩转移的方法。

B.基于用户交互

图2.基于用户交互的颜色迁移 为了方便用户操作，一些基于笔刷的技术被引入到图像编辑领域。 - Luan等人[78]提出了一种基于笔刷的交互式图像色彩转移系统； - Wen等人[114]利用基于笔刷的编辑和传播技术开发了一种交互式图像色彩转移系统； - Levin等人[52]提出了第一个编辑传播框架，用于无需任何图像分割或区域跟踪的灰度图像着色； - An等人[1]引入了参考图像来提供一般的编辑信息，使用户能够通过在彩 色参考图像的感兴趣区域上标记笔刷来直接获得图像的编辑参数。

C.混合迁移

图像纹理迁移

图3.纹理迁移 纹理转移（也称为图像类比）是指在目标图像中合成新纹理，使目标图像与参考图像具有相似的纹理外观。 - Bonneel等人[5]利用纹理转移增强3D模型的外观； - Zhang和Liu[119]在频域中解决了纹理转移问题； - Diamanti等人[17]通过手动注释样本图像来标记需要在纹理合成过程中生成纹理的区域。

色调迁移

由于不同的光照环境，图像中像素颜色可能会有较大差异，导致视觉上的不连续性。

• Liu等人[69]提出了一种通过色彩转移进行多色调图像调整的方法；
• Bae等人[4]提出了一种将源照片的色调转移到目标图像上的方法，使目标图像具有照片图形的外观。

图像混合迁移

图4.混合迁移 混合迁移同时改变目标图像的色彩和纹理。 - Okura等人[85]提出了一种结合色彩转移和纹理转移的图像混合转移方法（图4）。 - Song和Liu[100]提出了一种新的图像混合转移方法，该方法结合了色彩和纹理特征，不需要用户提供三幅图像。 - Liu和Song[70]将这种方法扩展到处理具有多源图像的图像外观。 - Liu等人[68]设计了一种用于复杂光照图像的外观转移方法，该方法通过深度学习实现。

D.基于深度学习

基于深度学习的方法将转移问题转化为非线性回归问题，通过深度学习方法的强大能力解决回归问题，从而获得源图像和目标图像之间的外观映射关系。

• He等人[35]提出了一种基于神经网络的图像色彩转移方法；
• Liao等人[57]提出了一种“深度图像类比”方法，用于在外观上有很大差异但语义结构上相似的图像之间进行视觉属性转移；
• Lee和Lee[51]使用卷积神经网络（CNN）将中午图像的外观转移到夜间图像上；
• Liu等人[68]设计了一种用于复杂光照图像的深度转移框架，该框架包括光照转移和色彩转移。

情感颜色迁移

情感迁移：旨在通过改变目标图像的颜色分布，将源图像的情感传递到目标图像
现有方法分为两类：基于颜色组合的情感颜色迁移方法和基于深度学习的情感颜色迁移方法。

A. 基于颜色组合的情感颜色迁移

主要考虑图像的低级语义信息（即颜色），然后将源图像的颜色分布迁移到目标图像，使目标图像的颜色分布与源图像一致。

1）基于直方图

Yang和Peng[117]提出了一种基于直方图匹配的情感色彩转移方法。该方法使用RGB色彩空间进行图像分类和色彩变换，并通过主成分分析（PCA）技术调整两个图像在RGB空间中的主轴，从而匹配目标图像与源图像的色彩分布。

2）基于情感词

图5.基于情感词 He等人[36]提出了一种基于色彩组合的情感色彩转移框架。该框架通过期望最大化聚类算法识别图像中的三种颜色，并将色彩转移过程建模为两个优化问题：计算目标色彩组合和保持目标图像的梯度。用户可以通过提供源图像或直接选择情感关键词来选择目标情感。

3）基于颜色组合

图像的颜色组合：是指能反映图像主要颜色和颜色匹配信息的颜色集合。图像颜色主题提取方法可分为三类：聚类分割法、统计直方图法和数据驱动法。
He等人[36]提出了一种基于色彩组合的情感色彩转移框架。用户可以通过提供源图像或直接选择情感关键词来选择目标情感。

图6.He's的情感颜色框架

B.基于深度学习

1）情感分布预测：

Peng等人[88]提出了一种基于卷积神经网络（CNN）的情感图像色彩转移框架，该框架预测情感分布而不是简单地预测图像引发的单一主导情感。该框架使用Emotion6数据库建模情感分布，并通过大规模用户研究验证了其有效性。

2）基于深度学习的情感色彩增强：

Liu等人[61]提出了一种基于深度学习的情感图像色彩转移方法，该方法结合全局情感分类和局部语义信息，以更好地进行情感色彩增强。该方法包括四个部分：共享低层特征网络（LLFN）、情感分类网络（ECN）、融合网络（FN）和着色网络（CN），通过这些网络实现情感色彩转移。

3)面部表情感知的情感色彩转移：

传统的深度学习方法忽略了图像中面部表情对情感的影响。Liu等人[87][73]提出了一种基于CNN的面部表情感知情感色彩转移框架。该框架首先预测目标面部图像的情感标签，然后将情感标签与预训练的情感色彩转移模型匹配，以实现情感色彩转移。

视频颜色迁移

与单幅图像不同，视频色彩转移需要考虑时间连贯性，以避免逐帧处理导致的闪烁和不自然现象

A.基于关键帧插值

1）线性插值方法：

Wang和Huang[108]提出了一种基于关键帧插值的视频色彩转移方法。该方法通过计算三个源图像的色彩均值和方差，利用色彩变化曲线（CVC）生成中间帧的色彩转移结果。然而，这种方法的局限性在于只能允许三个源图像进行插值。

2）B样条曲线方法：

Wang等人[109]进一步提出了一种更通用的图像序列色彩转移方法。该方法通过分析色彩情绪变化，使用B样条曲线生成中间帧的色彩转移结果。B样条曲线允许用户通过控制点更有效地设计曲线，从而实现更灵活的色彩转移控制。

B. 基于示例的方法

1）示例驱动的视频色彩分级：

Bonneel等人[6]提出了一种基于示例的视频色彩分级方法。该方法首先计算目标视频的逐帧色彩变换，将目标视频的色彩分布映射到源视频的色彩分布上。为了减少伪影（如色彩渗出和闪烁），该方法采用基于微分几何的方案对变换进行插值，以最小化变换的曲率。最后，通过确定最佳关键帧来代表插值变换曲线，完成后续的色彩分级过程。

2）散点插值框架：

Hwang等人[40]提出了一种基于散点插值的视频色彩转移方法。该方法引入了移动最小二乘法，通过概率建模在三维色彩空间中实现色彩转移，从而实现全非线性和非参数化的色彩映射。

C.基于深度学习的方法

基于四元数距离度量的方法：

Liu和Zhang[74]提出了一种基于四元数距离度量的视频色彩转移方法。该方法从目标视频中提取关键帧，并使用高斯混合模型（GMM）基于软分割算法将源图像的色彩转移到关键帧上。通过四元数基距离度量匹配像素，将色彩从关键帧迭代地转移到中间帧，并设计了一种异常色彩校正机制，以提高结果的色彩质量。该方法能够更好地保持视频帧之间的时间连贯性，并减轻色彩伪影。