新型多色迁移算法与质量度量

新型多色迁移算法与质量度量

卡伦·帕内塔,Fellow,I电气与电子工程师协会,包龙,Student Member,电气与电子工程师协会,和索斯·阿加安,Senior Member, IEE
E

摘要

本文提出了两种用于静态图像和图像序列的新型多色迁移算法。这些方法可用于捕捉源图像的艺术氛围或“情绪”,并将相同的颜色氛围迁移到目标图像中。通过仿真以及与其他先进方法(包括Alla的方法、Reinhard的方法和Pitie的方法)的比较,验证了这些新算法的性能和有效性。这些算法简单、自动,适用于多种实际重着色应用,包括成像工具和消费产品中的着色、色彩校正、动画和色彩恢复。本研究还可用于娱乐产业中特效的快速实现,并降低此类任务的人工成本。
本文的另一个贡献是引入了一种新的颜色迁移质量度量。该新度量与人类感知高度一致,甚至相较于其他现有的颜色迁移质量度量(如肖氏度量和向氏度量1)也是如此。

索引术语—颜色迁移,图像质量度量,全参考度量,K‐均值,数据可视化,特效

I. 引言

颜色迁移是一种新颖的技术,用于捕捉一幅图像的艺术氛围并将其迁移到另一幅图像中[1]。该技术在消费电子领域具有巨大应用潜力,例如数字成像设备和商业图像处理工具,包括扫描仪、商业照片编辑软件、好莱坞动画以及特效制作软件包[2],[3]。它提取源图像的颜色信息,并利用这些颜色对目标图像进行重着色,从而使目标图像具备与源图像相同的氛围[4],[5]。例如如图1所示,黄色花朵的图像可以被重着色为红色花朵[6]。除了艺术用途之外,多种应用中对颜色变换方法都有巨大需求。在医学成像 [7],[8],中,颜色迁移可用于使某些特征更加突出,例如组织结构或器官,以帮助医生快速区分相关信息。在图像修复中,这种颜色迁移技术可用于使因褪色而老化的图像恢复活力,呈现出鲜明的色彩。在太空图像着色和复杂数据可视化中,不同类型的物体可以
1 K.帕内塔和包龙隶属于美国马萨诸塞州梅德福,02155塔夫茨大学电气与计算机工程系(电子邮件:Long@eecs.tufts.edu)(通讯作者: 包龙)S.阿加安隶属于美国德克萨斯州圣安东尼奥,78249德克萨斯大学圣安东尼奥分校电气工程系

示意图0

被着色为可区分颜色,使其更易于辨识[9],[10]。颜色迁移还可以集成到(k,n)视觉密码系统设计中,用于多媒体安全应用[11]。这些示例说明了重着色技术算法的研究动机。下一节将讨论颜色变换及其方法的发展历程。

A. 颜色迁移算法

最早的基礎顏色變換算法由雷因哈德等人在2001[4]
中提出。這項工作存在三個限制。第一個限制是它是一種全局遷移算法,這意味著對圖像中的所有像素都使用相同的顏色遷移過程,從而導致重著色圖像中某些內容出現不自然的偽影。其次,該方法僅利用了有限的統計信息;對於統計遷移方法而言,雷因哈德等人的原始方法通過在 CIELαβ顏色空間中使用標準差和均值來改變顏色。然而,這種傳統方法在亮度平面中執行變換,這是一個缺點,因為它可能導致將淺色轉換為深色或相反情況,或者改變亮度分佈,使重著色圖像看起來不自然。第三個限制是該方法只能將多色圖像轉換為單色圖像。許多現有的顏色遷移算法會將目標圖像中的所有顏色更改為從源圖像提取的一個中心顏色,而未考慮目標圖像的顏色多樣性。這在處理自然場景圖像時似乎沒有任何問題。然而,仔細檢查後發現,當源圖像包含多種不同顏色時,結果得到的目標圖像色彩較少,僅包含單一顏色。

为了解决这些问题,当前的前沿方法主要集中在利用以下三种途径之一。一种方法试图通过采用局部化方法来克服使用全局视角的局限性;另一种方法研究除统计迁移之外的其他迁移方式;第三种方法则探索将单色迁移应用于多色迁移环境。
为了实现局部迁移而非全局迁移,科学家们尝试引入人机交互界面来决定哪些
292 IEEE消费电子汇刊,第62卷,第3期,2016年8月
投稿论文稿件收到日期2016年6月 30日当前版本发布日期2016年5月1 9日电子版发布日期2016年9月30日
本文档由funstory.ai的开源PDF翻译库BabelDOCv0.5.10(http://yadt.io)翻译,本仓库正在积极的建设当中,欢迎star和关注。
图像中的内容应进行颜色变化[12]‐[14]。刘等人提出使用一个窗口来选择要修改的内容,然后计算该窗口内的颜色信息[12]。源图像中的颜色信息将被更改为与用户窗口中选取的提取颜色相似的颜色,同时保持其他颜色不变。温等人也允许使用用户选择的笔画来指示需要重着色的内容 [13]。这些算法在特定内容的重着色方面表现良好,但需要人工干预。其他研究人员探索在其他颜色平面中进行统计迁移,例如椭球包络[12], ,或设计其他迁移算法,例如基于N维概率密度函数转移的直方图转换[15],[16], ,或基于蒙日‐坎托罗维奇质量传输理论的迁移[18]。这些其他颜色迁移方法虽表现出良好的性能,但计算成本较高。第三种趋势是实现多色迁移算法。尤提出了一种利用源图像和目标图像主色调的局部色彩迁移方法[19]。由于该方法依赖于传统的Reinhard方法对所有三个分量进行颜色迁移,因此挑战在于如何恰当地将浅色迁移到深色,如果处理不准确,可能导致图像看起来不自然。

B. 颜色迁移质量度量

尽管在颜色迁移算法的开发方面已有出色的研究工作,但为每种方法建立适当的评估技术来评价重着色结果的质量仍然是一个挑战。总体而言,图像质量度量可分为三类:全参考类型[20]‐[22], 、减少参考类型和盲图像质量(无参考)[23]‐[29]。全参考类型需要原始图像可用,以便作为参考进行比较,度量失真图像与参考图像之间的相似性 [22],[24]。盲图像质量度量类型则要求度量方法在没有参考图像先验知识的情况下,“盲目”地对图像质量做出判断。对于许多应用而言,由于无法获得已知的“良好”参考图像,因此无法进行盲图像评估。无论度量是全参考还是盲图像类型,目前仍缺乏足够的客观色彩图相似性度量方法来评估颜色迁移算法的性能。例如,常用的全参考指标如峰值信噪比(PSNR)和均方误差(MSE)经常被用
于颜色迁移算法性能的评估[10],[30],[31]。肖和马[32]
利用了两个关键分量,即图像梯度和直方图。他们计算源图像与重着色图像直方图的均方误差值,以及目标图像与重着色图像梯度的均方误差值。需要注意的是,这些方法都直接作用于图像的强度,与主观保真度评分的相关性较差,并且无法有效利用图像的颜色信息。向等人[33]提出了一种新的
基于两种度量融合的评估方法:一种是由哈斯勒和S.E.苏斯特伦克开发的色彩相似性度量[34] ,另一种是由陈等人开发的结构相似性度量[35]。然而,将色彩丰富度的接近程度作为性能良好的指标并不总是可靠的,特别是当源图像具有较低的色彩属性时。

C. 所提出的颜色迁移算法和颜色迁移质量度量

对于这一研究课题,以往的研究从未建立过关于良好颜色迁移过程所应具备的特性或良好颜色变换质量度量的定性基础。本文将首先确立一个优秀的颜色迁移算法所需满足的要求,以及衡量颜色迁移结果质量时需要考虑的因素。
对于一个好的颜色迁移算法,建立了四条规则:
1) 颜色迁移应是一个高效的自动过程,无需人工干预。
2) 一种优秀的颜色迁移方法能够同时实现目标图像中不同颜色的颜色迁移。
3) 颜色迁移方法对源图像没有要求,即使是亮度较低的图像也足够。
4) 该颜色迁移方法不会显著改变光照分布,从而避免输出图像出现不自然的外观。

由于评估图像上颜色迁移算法的性能仍然是一个挑战,因此研究的一个关键问题是确定哪些特征可用于构建颜色迁移算法的性能评估度量。预计一种新型的颜色迁移算法评估度量应满足以下五个主要性质:
1) 它应计算目标图像与重着色图像之间内容信息(边缘或结构)的相似性。
2) 还应包括目标图像与重着色图像之间色彩映射的相似性。
3) 应考虑重着色图像的质量,例如色彩丰富度。
4) 颜色迁移质量度量的结果应与人类观察者的判断在统计上保持一致。
5) 该方法应具有较高的计算效率。

为了解决上述挑战并满足相应要求,本文引入了两种新工具:一种新的颜色迁移质量度量(CTQM)和两种新的颜色迁移算法(KMCTA‐I和KMCTA‐S),适用于静态图像和图像序列。对于颜色迁移质量度量,本文将 CTQM定义为三个特征/分量的组合:颜色映射相似性(本工作的新增贡献)、色彩丰富度以及来自先前研究 [26],[27]所采用的内容相似性。对于颜色迁移算法,所提出的新多色迁移算法利用K‐均值进行分割并提取颜色信息。通过全对全的颜色匹配,目标/源
K.帕内塔等:新型多色迁移算法与质量度量 293
图像中的每种颜色都将与源/目标图像中的主颜色建立相应的颜色映射关系。这种新的多色迁移方法解决了重着色过程中亮度变化的问题,使重着色图像看起来更加自然。仿真与对比结果均验证了所提出的迁移算法和质量度量的有效性。
本文的其余部分组织如下。在第二节中,提供了一种有效的颜色迁移评估指标。第三节和第四节分别介绍了所提出的用于静态图像和图像序列的新颜色迁移算法。第五节展示了计算机仿真结果。最后,在第六节中得出了结论。

II. 新的颜色迁移质量度量

这种新的颜色迁移质量度量需要两张参考图像,一张目标图像用于结构比较,一张源图像用于颜色信息比较。

A. CTQM

对于颜色信息比较,本文认为一个好的颜色迁移方法应利用源图像的颜色信息,并在重着色图像中实现较高的色彩丰富度,以使重着色图像看起来美观或具有视觉吸引力。此处,颜色信息评估应考虑两个特性:重着色图像的色彩丰富度以及重着色图像与源图像之间的颜色映射相似性。对于内容信息评估,本文采用4‐EGSSIM度量来考虑人类视觉系统对不同亮度级别的敏感性差异[37]。所提出的新型颜色迁移质量度量(CTQM)的系统框图如图所示。

示意图1 确定,4‐EGSSIM通过(3)计算。加权相加由(4)描述。)

颜色映射相似性 :为了获得颜色映射相似性,使用二维直方图进行计算。首先,图像从RGB颜色空间转换到CIELαβ颜色空间。进行这种转换的主要原因是,CIELαβ颜色空间比RGB颜色空间更适合许多数字图像操作,因为它将
亮度和色度分量分离[38]‐[40],
a. 它减少了内存需求并提高了计算时间;
b. L分量与人眼对亮度的感知密切相关(L= 0对应黑色,L=100对应漫反射白色),因此可以利用L分量[38],[47]来调整明暗对比度。
c. 颜色之间的感知差异是
与CIELαβ颜色空间中的笛卡尔距离成正比,因此两个样本之间的颜色差异可以通过欧氏距离[38]来计算;
d. α和 β色度分量可用于进行准确的色彩平衡校正。
注意:负的α值表示绿色,而正的α值表示品红色;负的β值表示蓝色,正的β值表示黄色[38],[40]。

将图像从RGB颜色空间转换到CIELαβ颜色空间后, α和β平面中的每个像素值都被设置为最接近对应参数的整数。然后,以α和β中的像素值作为x和y坐标轴(范围均为[‐125,125])计算二维直方图(h)。每个值 表示在彩色图像中α平面值等于x且 β平面值等于y的像素所占的百分比。因此,生成源图像和重着色图像的二维直方图向量(hs和hR)。然后通过公式(1)计算颜色映射相似性。
$$
Em =- \sum \sum |hR(x,y)-hS(x,y)|
$$
125
y=-125
125
x=-125
(1)

色彩丰富度 :为了评估色彩丰富度,采用了Panetta等人的论文[27]
中的色彩丰富度评估方法,该方法考虑了人类视觉系统的特性。
$$
Eo =0.2*ln(\frac{\sigma_{rg}^2}{|\mu_{rg}|})*ln(\frac{\sigma_{yb}^2}{|\mu_{yb}|})
$$
(2)
其中,σrg 和σyb 是rg=Rr-Rg和yb=0.5ሺRr+Rgሻ-R b的标准
差; ߤ௥௚ 和 ߤ௬௕ 是均值; Rr,Rg,Rb分别是重着色图像的不同红色、绿色和蓝色分量;

4-EGSSIM :为了评估重着色图像与目标图像之间的内容相似性,采用了四分量增强梯度结构相似性(4‐EGSSIM)[26]。
$$
Es =4-EGSSIM(2.55*RL ,2.55*TL)
$$
(3)
其中,ܴ ௅ 和ܶ ௅ 分别是源图像和目标图像的ܮ分量。由于L的范围是[0,100], ,L分量中的值将乘以2.25以使其处于[0, 255]范围内。

算法1:新的颜色迁移质量度量算法 .
输入:源图像(S)、目标图像(T)和重着色图像(R)
1.将S、T和R从RGB转换到CIELαβ。
2.使用二维直方图计算颜色映射相似性系数(ܧ௠ )
基于(1)的S和R 之间的差异。
3.通过(2)计算R的色彩丰富度。
4.使用Panetta方法通过(3)计算T和R在L平面的结构相似性 Panetta方法通过(3)。
5.使用(4)计算最终评价值ܧ 。
输出:CTQM值ܧ

加权相加 :在获得这三个评价值后,通过加权相加过程将这三个结果进行合并,从而得到最终的融合CTQM值。
$$
E=ω o E o +ω m E m +ω s E s
$$
(4)
294 IEEE消费电子汇刊,第62卷,第3期,2016年8月
其中,各部分的权重可根据不同任务需求由用户设定。
某些应用可通过给ωo赋予较大权重来重点考虑色彩丰富度。
通常情况下,ωo=1;ωs=100;ωm=1。上述步骤可总结于算法 1中。

B. 一致性实验

所提出的度量具有一个重要特性,可保证与人类感知的高度一致性。此处设计了一项主观评估,以评价所提出度量方法的性能。随机选取了二十人对图像进行评估,他们根据结构相似性、颜色相似性和色彩丰富度从一到四进行评分,其中一表示最差,四表示最好。根据不同度量方法,计算了每种方法对每幅图像的均值。这里,向氏度量 [33]和CTQM遵循相同的规则:数值越高表示性能越好,而肖氏度量[32],则是数值越低表示性能越好。为了便于比较,将肖氏度量转换为负值,使这三种度量采用相同的评判规则。每种重着色结果的评估结果如图10至图12所示,其数值总结于表I中。

表I 与人类主观度量的比较结果。(数值越大表示质量越好。)

图像方法 Xiao’s度量 Xiang’s度量 CTQM 主观的度量
图10 Alla -3.0301 1.0055 97.7118 2.55
雷因哈德 -2.7668 1.1209 96.3389 2.45
Piti -2.0897 1.0025 92.6985 1
KMCTA‐I -2.0494 1.4262 99.8641 4
图像方法 Xiao’s度量 Xiang’s度量 CTQM 主观的度量
图11 Alla -4.3191 0.9259 98.2598 2.9
雷因哈德 -4.4137 0.6586 96.0454 2.3
Piti -4.2557 0.5959 95.464 1.1
KMCTA‐I -4.1047 0.8979 99.5703 3.7
图像方法 Xiao’s度量 Xiang’s度量 CTQM 主观的度量
图12 Alla -82173 3.3720 64.8704 2.9
雷因哈德 -62250 1.0322 32.8002 1
Piti -60919 1.0160 53.4386 2.1
KMCTA‐I -60721 1.0322 99.5766 4
相关性类型 SROCC PRCC KRCC
0.3333 0.6387 1
0.1032 0.6500 0.9682
0.2222 0.5053 1

这里采用了三种不同的相关性计算方法,包括斯皮尔曼等级相关系数(SROCC)、肯德尔τ相关系数(KRCC)和皮尔逊积矩相关系数(PRCC),用于评估每种度量方法与主观方法之间的值的一致性。这三种相关性遵循相同的准则:值越大表示相似性越高。从表II中的数值可以看出,所提出的CTQM与主观度量结果具有最高的相关性。
这表明在评估颜色迁移算法时,所提出的CTQM优于其他两种度量方法。

III. 新型图像色彩迁移算法在两幅静态图像之间的应用

本节将提出一种用于静态图像的新型图像色彩迁移算法( KMCTA‐I)。如图3所示,该新算法包含三个过程:K‐
均值、颜色匹配和颜色迁移。所有这些处理步骤都在 CIELαβ颜色空间中进行。因此,应首先执行从RGB颜色空间到CIELαβ颜色空间的转换,然后在流程结束时应用逆变换以显示重着色图像。

示意图2

K-均值 :K‐均值是一种经典的数据分类方法,用于将大量样本数据划分为不同的k个簇[42],[43]。其数学模型如公式 (5)所示。
$$
\arg \min_{I(i,j)} \sum_{i=1}^{m} \sum_{j=1}^{n} |X_{i,j}-Y(I(i,j),:)|^2
$$
(5)
其中,I(i,j)是每个样本数据Xi ,j 所属簇的索引号,该样本数据是如式(6)所示的݌维向量。ࣳ 大小为k*p,
且ࣳሺIሺi,j ሻ,:ሻ 为每个簇的均值向量。通常,k=3。
$$
Xi,j=[ xα i-1,j,x α i,j-1 , x α i,j, xα i,j+1, x α i+1,j, x β i-1, j,x β i,j -1 , x β i,j, x β i,j +1 , x β i+1, j ]
$$
(6)
其中,x α i , j 和xβ i , j 分别是CIELαβ 颜色空间中α 和β平面的颜色像素值。

使用该K‐均值方法,可以根据不同的颜色进行分类,从而得到分割图I和ࣳ。因此,可以生成k个代表颜色(C) 。
$$
C_i = [ࣳ(i,3), ࣳ(i,8)], i=1:k
$$
(7)

颜色匹配 :该颜色匹配过程旨在构建目标图像与源图像中颜色信息之间的映射函数。该映射函数可手动或自动设定,以生成不同的重着色图像。此处采用一种颜色匹配算法来自动生成映射函数,使目标图像呈现出源图像的氛围,例如将夏季图像转换为冬季图像的效果。 对于颜色迁移算法而言,有两个影响氛围的特征需要重点考虑:每种颜色的比例以及各颜色之间的距离。假设在目标图像中占较大比例的颜色
K.帕内塔等:新型多色迁移算法与质量度量 295
应映射到在源图像中也占较大比例的颜色。此外,与目标图像中其他颜色差异很大的颜色,也应映射到源图像中的显著或异常颜色。该颜色匹配算法如(8)所示。
$$
\arg \min_{\mathcal{M}} \sum_{i=1}^{k} |(C_S \mathcal{M}(i))-(C_T i)|^2
$$
(8)
其中,ܥ௦ ܽ݊݀ ܥ் 是通过K‐均值算法生成的源图像和目标图像中的代表颜色。ࣧሺ。 ሻ 是一个全对全映射函数,意味着目标图像中的所有代表颜色都被映射到源图像的所有颜色上,反之亦然,源图像中的所有代表颜色也被映射
到目标图像的所有颜色上。(CT i)是目标图像中每种颜色的向量,由两个归一化分量组成,范围为[0, 1]:每种颜色的比例,以及每种颜色到其余颜色的平均距离顺序除以 k。一种颜色到另一种颜色的距离是通过在α 和β 平面上的平均距离计算的。根据ࣧሺ, ሻ,目标图像中的第݅௧௛种颜色将被映射到源图像中的一个ࣧሺ݅ሻ௧௛ 。通过该颜色匹配算法,可以获得最优映射函数ࣧ 。

颜色迁移 :在传统的现有颜色迁移算法中,对于每个分割区域,颜色迁移在CIELαβ颜色空间的所有平面中遵循相同的过程。
$$
R_j^i = \frac{\sigma_S^{\mathcal{M}(i)}}{\sigma_T^i} (T_j^i - \mu_T^j) + \mu_S^{\mathcal{M}(i)}, i=1,…,K, j=L,\alpha,\beta
$$
(9)
其中,ܶ ࣧሺ௜ሻ 是源图像中均值为μSࣧ(i)、标准差为σ S ࣧ(i)的ࣧሺ݅ሻ ௧௛ 段。ߤ் ௜ 和ߪ௧ ௜ 是目标图像中݅ ௧௛ 段的均值和标准差。

示意图3

会出现一些深色被映射为浅色的问题,这意味着目标图像与重着色图像之间某些物体的亮度发生变化。这在人类视觉系统中会显得不自然。此外,由于光照的变化,在颜色迁移过程中会丢失一些内容信息。如图所示,目标图像是光照适当的红色花朵,源图像是低亮度的蓝色花朵。
如果在三个平面中进行颜色迁移,则源图像中的背景和雄蕊的黄色环将丢失,如图4(c)所示。

算法2:KMCTA‐I
输入:源图像(S)和目标图像(T)
1.将S和T从RGB转换到CIELαβ
2.使用K‐均值从S中提取颜色信息矩阵(ܥ௦ ܽ݊݀ ܥ் )
并基于(5)从T中提取
3.使用(8)获得颜色匹配映射函数ࣧ。
4.在T的α和β平面中使用(9)进行颜色迁移算法以得到重着色图像R。
5.将R从CIELαβ转换为RGB。
Output:重着色图像

因此,在该算法中,颜色迁移仅在 હ和઺平面中进行处理,而保持亮度平面不变,以使深色映射到另一种深色,浅色映射到另一种浅色。仅在两个平面中进行颜色迁移的结果如图(d)所示,该结果对人类视觉系统更具吸引力,且无内容信息丢失。当处理具有极亮白色背景的图像时,将设置一个关于亮度的阈值。当亮度大于阈值(=99)时,表示该区域过亮而无法看清颜色,因此无需在此区域进行迁移。
所提出的KMCTA‐I算法的步骤可总结于算法2中。

新型多色迁移算法与质量度量

IV. 用于图像序列的新型图像色彩迁移算法

在本节中,将介绍另一种用于图像序列的新型图像色彩迁移算法(KMCTA‐S)。该新型KMCTA‐S是一种扩展应用,通过从三个不同的源图像中提取的颜色信息,为目标图像渲染图像序列。流程图如下所示

示意图4

算法 3:颜色变化曲线
输入:来自三幅源图像的颜色信息(ߤ௞ ,ߪ௞ ,ࣧ௞ , ݇ ൌ 1,2,3)
N和M
1.对于i=1:K
2.对于j=1:M
3. $$ \mu_S^{j,i} = \frac{\mu_2^{\mathcal{M}_2(i)} - \mu_1^{\mathcal{M}_1(i)}}{M-1}(j-1) + \mu_1^{\mathcal{M}_1(i)} $$
4. $$ \sigma_S^{j,i} = \frac{\sigma_2^{\mathcal{M}_2(i)} - \sigma_1^{\mathcal{M}_1(i)}}{M-1}(j-1) + \sigma_1^{\mathcal{M}_1(i)} $$
5. End
6. 对于 j =M+1:N
7. $$ \mu_S^{j,i} = \frac{\mu_2^{\mathcal{M}_2(i)} - \mu_3^{\mathcal{M}_3(i)}}{M-N}(j-M) + \mu_2^{\mathcal{M}_2(i)} $$
8. $$ \sigma_S^{j,i} = \frac{\sigma_2^{\mathcal{M}_2(i)} - \sigma_3^{\mathcal{M}_3(i)}}{M-N}(j-N) + \sigma_2^{\mathcal{M}_2(i)} $$
9. End
10.结束
Output:图像序列ߪௌೕ೔, ߤௌೕ೔ 的颜色信息
296 IEEE消费电子汇刊,第62卷,第3期,2016年8月

V. 实验

本节提供了来自两者的实验结果,以证明MCTA‐I满足既定要求。

A. 模拟结果

在本部分中,两种颜色和多种颜色的转换如图所示,其中目标图像被用作目标,源图像被用作源,使用每个源图像的结果如图所示。可以看出,转换后的图像与目标图像的颜色一致。例如,红色变为黄色,然后是绿色,再变为蓝色,根据源图像的不同而变化。这些结果表明,该方法可以自动地对包括自然物体在内的各种对象进行颜色转换,无需人为干预。模拟结果以一个例子展示,包括红色、黄色等不同颜色。所提出的方法实现了多种颜色的转换,满足了多样性和准确性的两个基本要求。

B. KMCTA-S 模拟结果

此处,一种用于图像的模拟算法,通过冬季生成的图像,展示了从花朵中提取的创新多色迁移算法和质量度量的应用,包括相关应用。实验和n,进行了多次模拟,通过视觉和验证,证明了 KMCTA‐S在第节中建立的优异性能。KCMT的结果我们模拟了颜色迁移。两幅不同的源图像和目标图像。每个源图像如图所示。从观察中可以看出,它们具有相似的颜色信息,而火焰图像则因差异较大而显得突出。模拟结果如图所示,展示了多种自然场景下的效果,有助于选择多颜色迁移的结果。以花朵图像为例,其黄色和绿色从源图像成功迁移,体现了源图像与目标图像在颜色迁移中的良好匹配性。

C. 可视化比较结果

光照条件比较测试中,所提出的方法与现有方法及阿拉的方法进行了对比。在图中,雷因赫方法虽然具有较深的紫色色调,但它涉及β颜色空间,同时也会产生其他问题,并且未能处理源图像中的颜色,目标图像是通过该方法生成的。还需注意,在产物图像中单色传输A‐I使用单个第一列)和多颜色转换乘以主颜色列)并应用。在施加的条件下处理方法ds,雷因哈德的方法[45]。雷因哈德的方法存在颜色转换过程中的问题,导致颜色传递效果不佳。皮蒂的方法在颜色传递过程中会产生一些伪影,且源图像中的一些特征未能保留,而所提出的方法则展示了更好的结果。

  • 颜色传输 :从d提取的主要颜色应用于目标图像。
  • 多颜色转换 :使用源图像s。在这些中,d与方法[4], Pi的结果进行了比较,显示该方法能够进行颜色迁移,传递光线,使花朵呈现出红色外观,在Lp模式下也能实现人工控制迁移,因为它具有该特性,并且仍然保留源图像的特征。该方法提供了结果,大红色花朵。

示意图5 )

示意图6 )

(a) (b) (c) (d) (e) (f)
示意图7

(a) (b) (c) (d) (e) (f)
示意图8

(a) (b) (c) (d) (e) (f)
示意图9 目标图像;(b)源图像;(c)使用Reinhard方法的重着色图像;(d)使用Pitie方法的重着色图像;(e)使用Alla方法的重着色图像;(f)使用提出的KMCTA‐I的重着色图像。(不同的亮度分布))

红色背景成功地被重着色为紫色和深黄色。从图1的仿真结果中也得出了类似的结论。从重着色图像可以看出,只有所提出的方法成功实现了颜色迁移并保持了图像内容不变。Alla方法和Reinhard方法都将白色区域迁移到了其他颜色,而白色区域本无颜色信息,不应被改变。

当源图像的亮度(照明)条件较差时,例如图2中的深紫色玫瑰图像,只有KMCTA‐I能够成功将源图像中的紫色应用到目标图像中。其他方法要么导致重着色图像的视觉质量较差,要么使重着色图像包含不属于源图像的颜色。从这些视觉比较结果可以看出,所提出的KMCTA‐I优于其他三种现有方法。

D. 光照分布比较

为了测试光照分布的变化,使用峰值信噪比(PSNR)来计算重着色图像和目标图像在CIELαβ颜色空间中亮度分量的相似性。PSNR值如表II所示。由于较大的 PSNR值表示更高的相似性,因此所提出的KMCTA‐I的最大PSNR值表明该系统在满足良好颜色迁移算法的第四项要求方面优于其他三种方法。

表II PSNR测试

方法 图10 图11 图12 Mean
Alla 25.7529 28.7090 19.6242 24.6954
雷因哈德 20.2382 24.2229 14.3339 19.5983
Piti 20.4622 24.1251 14.1303 19.5725
KMCTA‐I 41.6568 43.0034 58.8559 47.8387

E. 计算成本比较

消费电子领域关注的主要问题之一是算法的计算成本。为了评估每种方法的速度,使用了相同的计算机平台。每种算法都针对三种不同的图像尺寸进行了测试。从表III所示的结果来看,所提出的算法优于三种现有方法,特别是对于大尺寸图像。通过使用C/C++优化该算法,而不是使用MATLAB实现,可以进一步提升该速度性能。

表III 各种方法与图像尺寸的计算成本测试(秒)。

方法 256*256 512*512 1024*1024
Alla 1.73 5.24 23.73
Reinhard 1.51 4.87 20.99
Piti 1.37 7.41 23.80
KMCTA‐I 1.13 2.01 6.10

VI. 结论

本文定义了良好颜色迁移评估度量算法的五个要求。然后,提出了一种新的度量方法来根据这些要求评估颜色迁移算法。这种新的CTQM度量考虑了三个分量,即颜色映射相似性、色彩丰富度和内容相似性,而先前的研究仅考虑了这些属性中的一个或两个。主观验证实验表明了该方法的有效性,并且与人类评估者的感知保持一致。仿真还对该新方法与另外两种当前最先进的方法进行了比较和对比。

提出了用于静态图像(KCMTA‐I)和图像序列(KCMTA‐S)的新型多色迁移算法。KCMTA‐I算法基于三个过程:K‐均值、颜色匹配和颜色迁移。采用K‐均值提取颜色信息。颜色匹配用于构建一种全对全的映射关系。颜色迁移仅在CIELαβ颜色空间的两个平面中进行。KCMTA‐S使用相同的三个过程,但增加了一条颜色变化曲线,用于计算从三个不同源图像进行迁移的颜色信息。仿真与对比结果表明,该方法优于其他三种最先进的方法,并满足了良好颜色迁移算法所提出的四项要求。

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值