FCDFusion：一种用于融合可见光和红外图像对的快速、低色彩偏差的方法-优快云博客

可见光和红外图像融合（VIF）旨在将可见光和红外图像的信息组合成单个融合图像。以前的 VIF 方法通常采用色彩空间转换来保持原始可见图像的色调和饱和度。然而，对于快速 VIF 方法，此操作占计算的大部分，并且是阻止更快处理的瓶颈。在本文中，我们提出了一种快速融合方法，FCDFusion，颜色偏差很小。它通过直接在 RGB 颜色空间中操作来保留颜色信息，无需进行颜色空间转换。它以很少的额外成本集成了伽玛校正，从而可以快速改善色彩和对比度。我们将融合过程视为对3D颜色向量的缩放操作，大大简化了计算。理论分析和实验表明，我们的方法每像素仅需 7 次 FLOP 就能获得令人满意的结果。与使用 HSV 色彩空间的最先进的快速、色彩保留方法相比，我们的方法以一半的计算成本提供了更高的对比度。我们进一步提出了一个新的指标——颜色偏差，来衡量 VIF 方法保留颜色的能力。它专为具有彩色可见光图像的 VIF 任务而设计，并克服了用于此目的的现有 VIF 指标的缺陷。我们的代码可在 https://github.com/HeasonLee/FCDFusion 获取。

关键词 红外图像、可见光与红外图像融合；伽玛校正；实时显示；颜色指标；颜色偏差

1 简介

可见光和红外图像融合（VIF）的目的是将可见光和红外图像的信息融合成单一的融合图像。在黑暗或耀眼的极端环境中，可见光相机拍摄的图像可能不清晰，但红外相机通常可以获得清晰的物体轮廓，因为温度的差异。VIF输出图像同时具有颜色和温度信息，使输出图像中的物体更清晰，更容易识别。因此，VIF技术多年来一直是一个活跃的研究领域，在目标检测[2-5]、跟踪[6-8]、识别[9-11]、监控[12-14]、色觉[16,17]等多个领域都有丰富的应用。

几种快速 VIF 方法只是对不同颜色空间中的两个输入图像进行平均 [18]，每个像素对的运算次数不超过 20 次。他们的主要目标是高速融合视频以实现实时显示，因此他们会牺牲结果质量来换取速度。当优先考虑图像质量而不是速度时，会使用其他方法；代表性的方法是基于领域转换[19-24]、深度学习[25-29]或混合方法[30-35]。这些方法提供了令人印象深刻的结果，但涉及更复杂的计算，通常需要比简单平均方法多 1000 倍的 FLOP。

以前的 VIF 方法通常采用色彩空间转换来保持原始可见图像的色调和饱和度。然而，对于快速VIF方法，该操作占据了计算的主要部分，并且是阻碍处理速度提高的瓶颈。在本文中，我们提出了一种快速融合方法FCDFusion，颜色偏差很小；它可以保留颜色信息而无需进行颜色空间转换。它直接在 RGB 色彩空间中运行，并嵌入伽玛校正，几乎不需要额外的计算，因此可以快速改善色彩和对比度。我们将融合过程视为对3D颜色向量的缩放操作，这大大简化了计算。理论分析和实验结果表明，我们的方法可以在每像素7个FLOPs的情况下获得满意的结果。与使用HSV色彩空间的最先进的快速保色方法相比，我们的方法在一半的FLOPs数量下提供了更高的对比度。

我们进一步观察到，VIF任务的现有评估指标主要考虑融合图像的清晰度（通过熵[36]、平均梯度[37]等）及其与原始图像的整体结构相似性（通过结构相似性指数测量） [38]、均方根误差[39]等），并忽略颜色信息。因此，一些方法通过改变原始颜色的色调和饱和度来提高对比度来获得高分。在这项工作中，我们提出了一种称为颜色偏差的新指标来衡量 VIF 方法保留颜色的效果。它专为使用彩色可见图像的 VIF 任务而设计，旨在通过评估颜色信息来消除现有 VIF 指标的缺陷。

因此，这项工作的主要贡献是：

• 一种简单有效的 VIF 方法，FCDFusion，它可以在每像素仅 7 次 FLOP 的情况下保留颜色并提高对比度，

• 一种度量，颜色偏差，专门设计用于测量 VIF 方法的能力，使用彩色可见图像来保留颜色，

• 基于颜色偏差，对我们的方法和 RGB、YIQ 和 HSV 颜色空间中的平均方法的颜色保留能力进行理论分析。这些结果也得到了实验的验证。

2 相关工作

在本节中，我们首先回顾现有的 VIF 方法及其保留颜色的策略。然后我们简要介绍了用于评估 VIF 结果的现有指标。

2.1 VIF 方法

2.1.1 简单平均的问题

在 RGB 颜色空间中工作的简单 VIF 方法是分别对可见光图像和红外图像的红、绿和蓝分量进行平均。不幸的是，有两个问题需要解决。首先，一个输入图像通常包含更多细节，而另一个则模糊。简单的平均操作无法刻意选择包含更多细节的图像，因此平均操作后，原本清晰的细节变得模糊。其次，由于红外图像仅包含一个通道（单色），对具有相同灰度值的可见图像的红、绿、蓝分量进行平均会导致饱和度下降，导致外观不佳。现有的 VIF 方法已经开发出解决上述两个问题的策略，以帮助它们保留融合图像中的细节和颜色。

2.1.2 细节保留方法

为了有选择地保留两个输入图像的细节，已经提出了各种更复杂的融合方法。

有些将两个输入图像变换到一个新的域中，以从输入图像中提取主要（低频）部分和细节（高频）部分。典型的域变换包括主成分分析[19]、拉普拉斯金字塔[20]、小波变换[21]、轮廓波变换[22]、多分辨率奇异值分解[23]和潜在低秩表示[24]。在这些方法中，输出图像的两部分以不同的方式融合。输出图像的高频部分通常是两个输入图像的总和或最大值，而低频部分通常由平均形成。这种处理的目的是尽可能保留两个输入图像的细节。

为了获得更好的整体质量并避免单一方法的缺点，一些混合方法[30-33]混合了多种方法的结果，以获得输出图像的最佳效果。

而且，随着深度学习的快速发展，一些基于深度学习的方法[25, 26]也不断涌现。这些方法以一些评价指标为训练目标，利用各种人工神经网络模型进行参数训练，以达到更好的融合效果。最近，大多数方法将神经网络与其他技术结合起来以提高融合效果。受域转换方法的启发，Luo 等人。 [34]使用l1-l0分解模型在融合前获得基础层和细节层，并采用拉普拉斯金字塔和高斯金字塔分解卷积神经网络获得的细节层和决策图。为了充分保留视觉细节，Yin 等人。 [35]采用基于加权平均曲率的多尺度变换融合方案，可以有效抑制噪声并保留有价值的细节。徐等人。 [27]使用卷积神经网络作为编码器从输入图像对中提取多级特征，然后使用解码器来融合这些特征。唐等人。在 PIAFusion [28] 中设计一个照明感知子网络来估计照明分布并计算照明概率，然后使用照明概率构建照明感知损失来指导融合网络的训练。因此，它在不同光照区域的目标维护和纹理保留方面表现良好。在SeAFusion[29]中，Tang等人将图像融合模块和语义分割模块级联，利用语义损失将高级语义信息流引导回图像融合模块，有效提升了融合图像上的高级视觉任务（如语义分割和目标检测）的性能。

上述方法以速度换取更好的融合结果质量。尽管SeAFusion [29]模型经过简化以提高其速度，但它仍然比早期基于深度学习的方法（如CNN [26]）需要更多的计算量，大约是简单平均方法[18]的10,000倍。在这里，我们提出了一种简单有效的 VIF 方法，以极低的计算要求实现高质量的融合结果，类似于简单的平均方法。

2.1.3 颜色保留方法

为了保持原始可见图像的色调和饱和度，可以修改VIF方法以在另一种颜色空间中操作，其中一个分量代表亮度，另外两个分量代表色调和饱和度[18]。仅融合两幅图像的亮度分量，保留原始彩色图像的色调和饱和度。这种颜色保留策略也常用于对彩色图像进行操作的其他图像增强方法 [40, 41]。如图 1 所示，保色 VIF 方法首先使用颜色空间变换 T 将可见图像划分为色调和饱和度分量以及亮度分量。然后，他们使用某种特定的融合策略将亮度分量与红外图像融合，最后，他们使用逆变换 T −1 将结果转换回 RGB 颜色空间。

两种常用的颜色空间是 YIQ 和 HSV [42, 43]。当使用YIQ颜色空间时，T和T -1 都是3×3矩阵，因此VIF方法需要两次矩阵乘法。使用 HSV 颜色空间时，可以更好地保留饱和度，但转换更复杂且需要更多时间。

最近的一些方法[28, 29]使用YUV（也称为YCrCb）[44]颜色空间，它类似于YIQ颜色空间。从 RGB 到 YUV 的转换需要一次 3×3 矩阵乘法和两次标量加法。

2.2 VIF 指标

许多用于评估图像质量的指标也可用于评估融合结果的质量。所提出的指标中没有一个普遍优于所有其他指标；它们是互补的。 VIF 结果评估中使用的典型指标[45]包括基于信息论的指标（例如交叉熵（CE）[46]、熵（EN）[36]、互信息（MI）[47]和峰值信噪比比率（PSNR）[39]）、基于结构相似性的度量（例如结构相似性指数测量（SSIM）[38]和均方根误差（RMSE）[39]）、图像基于特征的指标（例如平均梯度（AG）[37]、边缘强度（EI）[48]、标准差（SD）[49]、空间频率（SF）[50]和基于梯度的融合性能（QAB） /F）[51]）和人类感知启发指标（例如 Chen-Blum 指标（QCB）[52] 和 Chen-Varshney 指标（QCV）[53]）。

这些现有指标要么测量输出图像的整体对比度，要么测量其与两个原始输入图像中的每一个的相似度。然而，对于彩色可见图像的VIF任务，图像的颜色信息和亮度信息通常是分开处理的，因此需要设计专门测量颜色变化的度量。在这项工作中，我们提出了一个新的指标。颜色偏差，用于测量 VIF 方法的颜色保留能力。

色彩空间变换可以帮助VIF方法保持原始可见图像的色调和饱和度。但是对于快速的VIF方法，变换占据了大部分的计算量，成为提高处理速度的瓶颈。本文提出的方法直接在RGB色彩空间中操作，使用矢量缩放而不是色彩空间变换

3 FCDFusion 方法

在本节中，我们首先制定 VIF 问题并激发我们的方法。然后，我们介绍了 FCDFusion 快速融合方法，该方法具有低颜色偏差，适用于需要保留颜色的高速 VIF 任务。在保证融合图像具有良好的对比度和色彩质量的同时，大大减少了计算量。

3.1 公式和动机

在可见光和红外图像融合（VIF）问题中，同一场景的两幅图像由可见光相机和红外相机拍摄；我们假设它们已通过配准算法对齐，因此每个对象都具有相同的大小，并且每个对象在两个图像中具有相同的位置。对于像素级 VIF 方法，目标是通过使用两幅图像中每个像素对的可见像素颜色 cv 和红外像素颜色 ci 来计算融合像素颜色 cf。 cf、cv 和 ci 是 RGB 颜色空间中的颜色向量，具有三个元素：

由于红外颜色ci的三个元素具有相同的值vi（它是单色的），将具有相同灰度值的可见图像的红、绿、蓝分量融合可能会导致饱和度下降，使得输出图像质量较差外貌。因此，现有的颜色保留方法[18]引入了到新颜色空间（例如YIQ或HSV）的颜色变换，以提高输出图像的颜色质量（见图1）。他们首先将可见图像的 RGB 颜色转换为色调和饱和度分量以及亮度分量，然后将亮度分量与红外图像融合，最后使用逆变换将结果变换回 RGB 颜色空间。该过程中的大部分计算在于颜色空间变换和逆变换，而融合过程通常是简单的平均。

但是，如果我们把RGB颜色看作是RGB色彩空间中的一个矢量，这个过程就可以大大简化：亮度就是矢量的长度，色调和饱和度用矢量的方向来表示。例如，见图2。四个颜色向量c1， c2， c3和c5具有相同的长度但不同的方向，因此具有相同的亮度和不同的色调和饱和度。方向越接近色彩空间立方体的主对角线，其饱和度越低，越接近灰色。因此，尽管三种颜色c1、c2和c3具有相同的色调，但c3完全是灰色的，而c1的饱和度最高。另一方面，如图2所示，由三个颜色向量c4， c5和c6表示，它们具有相同的方向，但长度不同。因此，它们具有相同的色调和饱和度，但亮度不同。因此，一个保持颜色的融合过程可以被认为是一个同时将红、绿、蓝值乘以一个共同的比例因子k的过程。在我们的方法中，k取决于两个输入图像。

3.2 方法

该方法的框架如图3所示。我们首先使用输入像素对计算缩放因子k，然后通过按该因子k缩放可见输入颜色向量来融合像素对。我们分阶段确定 k。

3.2.1 缩放比例

输出颜色可以看作是原始可见颜色矢量 cv 的缩放版本，其中缩放比例 α 取决于红外值 vi 的大小：

伽马校正使用指数函数来调整图像的相对亮度。使用γ >可以增强图片明亮部分的对比度，并降低黑暗部分[54]的对比度。由于较低的信噪比，在暗区总是存在噪声，降低暗区对比度可以起到抑制噪声的作用。在提出的方法中，我们设置γ = 2，在这种情况下，允许用更简单、更快的单乘法代替一般的幂运算。

缩放比例α表示k的相对值。 α = 1 表示 k 应取其最大值 βm，以最大化 cv 的长度； α = 0 意味着 k 应取其最小值 0，使 cv 变黑。

3.2.2 最大缩放因子

为了简化计算，我们将颜色 cv 的亮度近似地由所有三个分量的最大值给出。然而，由于 vm 稍后出现在分母中，我们通过确保 vm ⩾ 1 来防止被零除：

3.2.3 比例因子

初始缩放因子 β 现在通过将最大缩放因子 βm 乘以缩放比 α 获得：

3.2.4 通过向量缩放融合

所提出的方法通过计算的缩放因子 k 缩放可见输入颜色向量来融合像素对。它改变向量的长度但保持其方向。因此，当可见光图像添加了红外图像的亮度信息时，其颜色信息被保留。

然而，在按k缩放后，颜色cs的某些分量可能大于255。将cs的三个通道限制为[0,255]，最终得到输出颜色cf：

整体计算如算法 1 所示。

算术运算的分析如表 1 所示。图1显示简单平均方法在融合过程中仅使用简单的整数运算并且没有浮点运算。在 YIQ-AVG 和 HSVAVG 等快速保留颜色的方法中，颜色空间转换占浮点运算的大部分。我们的方法使用矢量缩放（等式 8）而不是颜色空间转换，因此速度更快。进一步的讨论在第 Sec.5中提供 .

4 颜色偏差度量

在本节中，我们提出了一种新的度量，颜色偏差（CD），来衡量 VIF 方法的颜色保留能力。它专为具有彩色可见图像的 VIF 任务而设计，旨在避免用于评估颜色保留的现有 VIF 指标的缺陷。我们首先激发并定义颜色偏差，然后使用该指标分析几种快速 VIF 方法的颜色保留能力。

4.1 动机和定义

图 4 说明了使用现有 VIF 指标时可能导致的缺陷。从清晰度和色彩保留的角度来看，图 4(c) 提供了优于图 4(c) 和图 4(c) 的融合图像。 4（a，b）对于相同的两个输入图像。汽车阴影中的男子在图 4(c) 中得到增强，还显示该男子穿着棕色或橙色外套。该颜色信息在图中丢失。 4(a,b)通过色调和饱和度的变化。然而，当通过考虑相似性或对比度的现有指标进行评估时，图 4(c) 并不被认为是最佳结果。主要原因是现有的指标是专门针对单色图像定义的。

对比相关指标（例如 CE [46]、EN [36]、MI [47]、AG [37]、EI [48]、SD [49]、SF [50]、QAB/F [51]、QCB [52]和QCB [53]）测量融合图像的整体对比度，包括色调、饱和度和亮度的对比度。因此，融合图像可以通过增加色调和饱和度通道的对比度来获得更高的分数，但这可能会导致可见图像和融合图像之间的色调和饱和度差异较大。使用这些指标，图 4(b) 通常在图 4 中的三个输出图像中得分最高。相反，为了保留可见图像中的颜色信息，在融合过程中需要保持色调和饱和度不变。

相似性相关指标（例如 PSNR [39]、SSIM [38] 和 RMSE [39]）将融合图像与两个输入图像进行比较。由于红外图像是单色的并且被赋予与可见图像相同的重要性，因此两个输入图像之间具有饱和度的融合图像更有可能获得更高的分数。因此，通过这些指标评估，图4（a）在图4中的三个输出图像中得分最高。实际上，只有可见图像具有色调和饱和度信息，因此应该比较色调和饱和度的相似度分别到可见图像。

为了避免这些问题，在彩色可见图像的 VIF 任务中，应分别测量颜色信息和亮度信息。将可见光图像和融合图像变为灰度图像后，可以通过现有的度量来评估亮度信息（即，两个输入图像和融合图像的亮度相似度，以及融合图像本身的亮度对比度）。对于颜色信息，可见输入颜色和融合颜色之间的颜色偏差 (CD) 可以通过两个颜色向量 cf 和 cv 之间的角度来测量：

arccos返回其在[0，π]范围内的主值。较小的颜色偏差值表明色调和饱和度从可见输入颜色中得到了很好的保留。当角度较小时，与其余弦值的差异不明显，所以我们用角度代替余弦值。

为了评估输入图像对的VIF方法的整体颜色保存能力，使用了所有像素的平均颜色偏差。

4.2 现有快速方法的颜色偏差

在这里，我们利用颜色偏差分析了四种现有快速VIF方法的保色能力。在图5中，YIQ色彩空间的Y轴是RGB色彩空间的对角线，在该对角线上每种颜色具有相同的红、绿、蓝值。所以红外颜色 ci 沿着 Y 轴。

RGB颜色空间中的VIF平均方法只是简单地对cv和ci进行平均，因此融合向量cf-RGB是连接cv和ci的线段的中点。如图 5 所示，这种平均操作会导致 cv 和 cf-RGB 之间产生较大角度。

YIQ 颜色空间中的 VIF 平均方法仅在 Y 通道中对 cv 与 ci 进行平均。如图5所示，这样做使cv沿着平行于Y轴的直线l移动。更具体地说，融合向量 cf-YIQ 是连接 cv 和 ci 在直线 l 上的投影点的线段的中点。如图 5 所示，这种平均操作会导致 cv 和 cf-YIQ 之间形成一个小角度。

HSV颜色空间中的VIF平均方法仅在V通道（颜色矢量的长度）中对cv与ci进行平均，并保持H（色调）通道和S（饱和度）通道不变，因此cv和cf-HSV是共线的。如图 5 所示，cv 和 cf-HSV 之间的角度接近 0。

我们的方法通过缩放因子 k 缩放 cv，因此 cv 和缩放后的向量 cs 共线。边界操作将cs的三个通道限制在[0,255]的范围内，这可能会导致cv和cf-Ours之间存在微小的角度，如图5所示。

一般来说，给定相同的输入图像，颜色的关系这四种方法对应的偏差为：

因此，我们的方法 (FCDFusion) 和 HSV 颜色空间中的平均可以更好地保留可见图像的色调和饱和度，下一节的实验结果证实了这一结论。

与 HSV 颜色空间中的平均不同，我们的方法不需要颜色空间转换并嵌入伽玛校正来提高对比度，因此速度更快并且可以在融合图像中提供更清晰的对象。

5 结果

在本节中，我们将我们的方法与几种最先进的 VIF 方法进行比较。我们首先介绍实验中使用的数据集、评估指标和比较方法，然后使用指标和视觉效果比较融合方法。

5.1 数据集

为了保证公平性并反映颜色信息的处理，我们使用可见光和红外图像融合基准（VIFB）[55]中的可见光和红外图像对进行真实数据实验。 VIFB 是唯一一个现有的基准测试，它提供具有彩色可见图像的图像对，并在同一计算平台上为最先进的方法和评估指标提供统一的程序。它提供了21个图像对、20种融合算法的代码库和13个评估指标。平均图像尺寸为452×368。

VIFB不仅提供昏暗场景的可见光和红外图像对，还提供逆光场景的一些图像对，以确保融合方法的综合评估。

5.2 指标

我们首先使用 VIFB 提供的 13 个现有 VIF 指标：CE [46]、EN [36]、MI [47]、AG [37]、EI [48]、SD [49]、SF [50]、QAB/ F [51]、QCB [52]、QCV [53]、PSNR [39]、SSIM [38] 和 RMSE [39]。如前所述，它们主要测量融合图像本身的对比度以及融合图像与两个输入图像之间的相似度。

由于现有的指标无法完全评估融合结果的视觉质量，因此我们邀请了 10 位用户来判断 VIFB 中融合图像组的相对质量（部分如图 6 和图 7 所示），重点关注对象清晰度和颜色真实性。在每个图像组中，将8种方法获得的融合图像随机重新排序，并从1到8评分。用户可以看到相应的输入图像，但不知道使用哪种方法获得每个输出图像。

我们还计算了每种方法使用的flop数量和参数。FLOPs统计值测量融合一对452×368输入图像所需的等效浮点乘法和除法的数量。参数统计量测量神经网络中需要学习的参数的数量，或者在过滤器和其他转换中手动设置的参数的数量。

我们还使用提出的颜色偏差（CD）指标来测量融合方法的颜色保留能力。

5.3 方法

我们将所提出的 FCDFusion 方法与 3 种简单平均方法、VIFB 中得分最高的 2 种方法以及 VIFB 中缺少的 2 种最先进的方法进行了比较。

使用 RGB、YIQ 和 HSV 颜色空间的 3 种简单平均方法简称为 RGB-AVG、YIQ-AVG 和 HSV-AVG。

VIFB 中得分最高的 2 个方法是 MST-SR [32] 和 CNN [26]。 MST-SR 是一种混合方法，在 VIFB 中具有 6 个前三指标值，分别为 CE、EN、MI、QAB/F、QCB 和 QCV。 CNN是一种基于卷积神经网络的深度学习方法，其在VIFB中具有前三名的5个度量值，分别为MI、QAB/F、QCB、QCV和SD。这两种方法最初是为了融合灰度图像而设计的。在 VIFB [55] 中，它们被修改为通过将 RGB 可见图像的每个通道与相应的红外图像融合来融合彩色图像。

VIFB 中缺少的两种最先进的方法是 PIAFusion [28] 和 SeAFusion [29]。它们基于深度学习并使用 YUV（或等效的 YCrCb）[44] 颜色空间。

5.4 度量结果

使用表 1 中基于对比和相似性的度量得到的结果。图 2 显示我们的方法比三种简单的平均方法提供了更高的对比度，并且比 MST-SR、CNN、PIAFusion 和 SeAFusion 保留了更多输入图像的特征细节。

MST-SR和CNN在对比度方面得分较高，但破坏了与原始可见图像的颜色一致性，因此相似度得分较低。另一方面，RGB-AVG 通过简单地对两个输入图像进行平均，在与两个输入图像的相似性方面得分较高，但由于红外图像的饱和度较低，因此在对比度方面得分较低。我们的方法平衡了这两方面，因此当用 13 个现有指标进行评估时，它位于 8 种方法的中间。

我们的用户研究表明，通过我们的方法融合的图像具有最佳的视觉效果。事实上，一些基于多尺度变换（MST-SR）和深度学习（CNN、PIAFusion 和 SeAFusion）的复杂方法甚至不如简单的平均方法（RGB-AVG、YIQ-AVG 和 HSV-AVG）有效。在这方面。

FLOPs 指标显示我们方法的计算要求远低于 MST-SR、CNN、PIAFusion 和 SeAFusion 等最先进的方法。在快速方法中，RGB-AVG 是最快的，但在考虑颜色和对比度时效果也最差。我们的方法比 YIQ-AVG 和 HSV-AVG 提供了更高的对比度和更好的视觉效果，并且具有更快的处理速度。同时，我们的方法不需要内存来存储参数，因此对计算设备的要求很低。

颜色偏差度量结果表明，我们的方法和 HSV-AVG 更好地保留了可见图像的色调和饱和度。如第 2 节所述。 4.1，我们的方法中的最终边界操作（最大为255）会导致偏差；我们的方法的偏置角比 HSV-AVG 的偏置角稍大。

5.5 视觉效果

各组融合结果如图 3 所示。图 6、图 7 显示了 VIF 任务中的两种典型情况，即物体处于阴影中和物体处于强光下。

阴影中的物体需要通过增亮来增强。如图6所示，我们的方法融合的图像比RGB-AVG、YIQ-AVG和HSV-AVG的图像具有更高的对比度，使得阴影中的物体更清晰。原因是我们的方法使用伽玛校正来提高对比度。同时，我们的方法保持了可见图像的原始颜色，这避免了 RGB-AVG、YIQ-AVG、MST-SR、CNN、PIAFusion 和 SeAFusion 融合图像中颜色信息的丢失。我们的方法仅通过矢量缩放来改变颜色的亮度，并保持其原始的色调和饱和度。

明亮光线下的物体需要通过调暗周围的光线来增强效果。如图7所示，通过我们的方法融合的图像比所有其他方法的图像具有更高的对比度，使得亮光下的物体更加清晰，这也是由于使用了伽玛校正。基于深度学习的方法（即 CNN、PIAFusion 和 SeAFusion）在这种条件下无法执行，部分原因是缺乏背光场景的训练数据。

图6、图7所示的颜色偏差值与可见光图像和融合图像之间的色差是一致的，可以直观地观察到。这证实了所提出的颜色偏差度量是测量VIF方法的颜色保存能力的一种实用方法。图7中的示例比图6中的示例的颜色偏差值要小得多，因为图7中的可见图像颜色较少。

6 讨论

现在我们讨论伽马校正和平均在我们的方法中的重要作用，它们可以正确调整融合图像的对比度。

6.1 伽玛校正

在我们的方法中使用伽玛校正可以增强对比度并减少颜色噪声，如图 8 所示。设置 γ = 2 使物体在阴影和光线下都最清晰，同时保持背景与可见图像的变化很小。 γ 太小或太大都会分别使背景变亮或变暗，导致背景对比度下降。设置 γ = 1 会得到类似于 HSV-SVG 的结果。此外，设置 γ = 2 可抑制可见图像暗区中的颜色噪声。使用 HSV-AVG，γ = 0.5 或 γ = 1 可以照亮可见图像中的黑暗区域，例如第一个场景中的汽车阴影和第二个场景中的右侧区域。因此，颜色噪声同时被放大。通过设置 γ = 2，方程中的指数运算。 (2) 被简化为平方，其计算速度比使用一般伽玛值时快得多。图 8 中给出的 FLOPs 值表明，我们的方法比 HSV-AVG 或使用其他 γ 设置（γ = 1 除外）时更快。使用 γ = 2.2 的伽马校正广泛用于显示增强 [54]。图8显示，使用γ = 2与使用γ = 2.2具有非常相似的视觉效果，因此我们设置γ = 2来提高速度。

6.2 平均

在我们的方法中计算缩放因子 k 时，平均 β 和 1 有助于避免亮度过度变化，如图 9 所示。如果没有这种平均操作，物体是清晰的，但背景中的某些特征可能会变得模糊，因为亮度信息主要来自红外图像。平均操作提供融合图像中可见图像的亮度信息。在仅关注对象的应用程序中，不进行平均的版本可能会更好。

7 结论

在本文中，我们提出了一种简单有效的 VIF 方法，称为 FCDFusion，它无需进行颜色空间变换即可保留颜色信息。它直接在 RGB 色彩空间中运行，并嵌入伽玛校正，只需很少的额外计算，因此色彩和对比度很快得到改善。理论分析和实验结果表明，我们的方法只需每像素 7 FLOPs 就能获得令人满意的结果。与使用 HSV 颜色空间的最先进的快速且保色的方法相比，我们的方法提供了更高的对比度，并且计算成本仅为一半。此外，我们还提出了一个新的指标——颜色偏差，来衡量VIF方法的颜色保存能力；它专为使用彩色可见图像的 VIF 任务而设计，克服了现有 VIF 指标用于颜色信息评估的缺陷。