【论文阅读】Efficient Illuminant Estimation for Color Constancy Using Grey Pixels

论文：Efficient Illuminant Estimation for Color Constancy Using Grey Pixels
作者：Kai-Fu Yang
年份：2015年
期刊：CVPR

摘要

本文提出了一种利用给定的彩色偏压图像中检测到的灰度像素信息进行光源估计的新方法。基本假设是，大多数自然图像包括至少大约为灰色的可检测像素，这些像素可以可靠地用于光源估计。我们首先通过对不同数据集的综合统计评估验证了我们的假设，然后提出了一种新的基于亮度不变测度（IIM）的对数色通道灰度像素检测方法。然后，根据检测到的灰度像素可以很容易地估计出场景的光源颜色。

1介绍

在计算机视觉系统和生物视觉系统中，为了提取颜色特征，有效地去除光源触发的颜色投射（即颜色恒定性）是必要的。现有的颜色恒常模型大多是通过从给定的颜色偏置图像中估计光源的颜色，然后通过色度适配过程将彩色偏压图像转换为白色光源下的标准图像来实现的。
本文，我们认为一些在自然场景中广泛出现的灰色（或近似灰色）像素，可以用来可靠地估计光源。验证了这一假设之后，开发了一个简单的框架来检测彩色偏压图像中的灰度像素，然后使用这些像素估计亮度。此外，还扩展到多光源。

主要贡献

（1）完全验证了几乎所有的自然图像都包含近似灰度像素，这可以用于有效的光源估计。
（2）提出了一种有效的基于光度法的彩色偏压图像灰度像素自动检测策略。
（3）实验表明，在单光源或多光源的情况下，这种方法是可行和有效的。

2基于灰色像素的框架

2.1基本假设和公式

认为在白色光源下，大多数自然图像包含一些灰色或近灰色像素，一旦这些灰色像素被有效地检索，它们就可以用于有效的光源颜色估计。然而，挑战性的问题是如何从原始彩色偏压图像的RGB值中有效地确定灰度像素，因为外部光源的变化通常会改变它们的颜色外观。
考虑定义一个特定的光源不变测度（IIM）来识别图像中的灰度像素。
用局部图像块内像素的空间关系来定义IIM，它们可以用于均匀和非均匀光源的情况。（如在对数空间中计算的局部块的标准差可用作IIM）。但是没有可靠的局部差异用于计算，孤立的或均匀区域内的真实灰度像素将很少被检测到。为准确地识别灰度像素，需在IIM上添加以下约束：
（a）灰色像素应位于最小尺寸为3×3像素的小灰色斑块中。
（b）这些小的灰色斑块不均匀，即灰色斑块的对比度为非零。
在约束（a）的基础上，可以构造出彩色偏差图像的最小颜色通道。由于IIM要求独立于光源，因此可以通过在三个颜色通道中搜索具有相同IIM的点来检测灰度像素。同时，约束（b）排除了IIM为零的点。
用标准差来定义对比度是一个普遍的选择，（也可用对数空间中的梯度、中心环绕差等）
捕捉图像值𝐼i（𝑥，𝑦）,光源𝐶（𝑥，𝑦）,表面反射率𝑅（𝑥，𝑦）:

对数转换：

假设光源𝐶（𝑥，𝑦）在小的局部斑块内（至少3×3像素）是均匀的。在对数空间中，定义为相邻像素之间的差异的任何度量均独立于光源。将局部IIM表示为ΔIlog， 由局部标准差定义的IIM是一个函数：

约束b：

一旦找到这些灰度像素，就可以很容易地从它们中提取出彩色偏压图像的光源。然而，等式4只是像素为灰度像素的必要条件。为获得更可靠的灰度像素，进一步排除RGB空间亮度很低和空间位置相对孤立的像素。

2.2假设验证

假设：大多数自然场景在白光光源下确实包含可检测的像素，它们是近似灰色的。
本文基于基准数据集中提供的地面真实光，评估了在白光源下通过将原始有偏色图像转换为标准图像而生成的地面真实图像中可检测到灰色像素的可能性。此外，还对为其他应用而收集的两个不相关的自然数据集，如显著区域检测进行了假设评估。
GI低于0.02，每个数据集中95%以上的图像包含可检测的灰度像素，GI 低于0.1，几乎所有图像都包含可检测的灰度像素，支持了假设。
这些GI的灰色像素是否可以作为光源估计的准确指标。
（1）通过对彩色偏压图像中检测到的像素求和来估计光源，这些像素的GI值较低，是从相应的地面真实图像计算出来的。
（2）计算角度误差，以测量估计的和地面真实光照之间的误差。实验表明，如果能够正确地检测出灰度像素，则可以基于彩色偏压图像的灰度像素获得理想的光源估计。
证实假设。
为测量像素接近灰度的程度，为每个像素定义灰度指数（GI），像素（𝑥，𝑦），首先计算每个通道中𝜂×𝜂像素大小的局部窗口内的局部均值和局部对比度（由本文中的标准差定义）。 局部平均图：𝐺𝑇𝜂𝑖（𝜂，𝑦），局部对比图：𝐶𝑇𝜂𝑖（𝑥，𝑦）。
具有较低GI的像素具有更高的灰色概率。

2.3.算法实现

对于白光光源下场景中的一个灰色点，三个通道的局部均值以及局部对比度是相等的。然而，对于有偏色图像，只有在三个通道中的等局部对比度的约束是可用的。
对输入的偏色图像，将颜色通道转换为对数空间。为每一像素计算在3×3像素块内由局部对比度（标准偏差）定义的IIM，用 𝑆𝐷𝑟 𝜂 , 𝑆𝐷𝑔 𝜂 , and 𝑆𝐷𝑏 𝜂表示。

并非所有满足公式4的像素都是灰色的。进一步排除有低亮度（如暗像素，或在空间位置上是孤立的点。通过以下方式减弱这些暗或孤立像素的影响：

表示输入图像中每个像素的亮度，𝐴𝐹{}：7×7像素的局部邻域内应用的平均滤波器。将𝐺𝐼∗（𝑥，𝑦）视为给定色彩色偏移图像的最终GI映射。在𝐺𝐼∗（𝑥，𝑦）中幅度较小的像素更有可能变成灰色。
同一自然景物视野的图像灰度像素的绝对数量是不同的，但当图像放大或缩小时其百分比几乎保持稳定。因此，按𝐺𝐼∗ (𝑥, 𝑦)中的GI值的升序对点进行排序，并选择具有最低GIs（由集合 𝐺𝑃n表示）前的n%像素作为检索的最终灰色像素，进行光源估计。

N：𝐺𝑃n中灰色点的数量

2.4.多光源检测

基于小块（3×3像素）评估灰色指数图𝐺𝐼∗（𝑥，𝑦），其中光源可以合理地被认为是均匀的。
(1) 用与单一光源情况相同的步骤检测灰度像素
(2) 根据其空间位置使用简单的K-均值将这些检索到的灰度像素分组。
(3) 使用相应的灰色像素，通过等式8计算每组的光源。
可以得到每组灰度像素的质心(𝑥𝑘, x𝑦),评估光照：

归一化系数

像素（𝑥，𝑦）与第k个灰色像素质心之间的归一化空间距离 𝑊和𝐻:输入图像的宽度和高度。 𝜎𝑑:控制加权灵敏度(本文𝜎𝑑 = 0.2)

4 总结

基于图像的光度特性，通过从偏色图像中检索灰色（或近似灰色）像素（GP），开发了一种新的光源估计框架。 对不同数据集的多个集合进行的综合实验表明，现实世界中的大多数自然图像都包含近似灰色的图像像素（由IIM定义），可通过非常简单的实现将其用于有效的光源估计。对基准数据集的广泛评估表明，所提出的带有灰色像素的方法明显优于具有灰色世界和灰色边缘信息的模型。