Zero-Shot Day-Night Domain Adaptation with a Physics Prior（ICCV,2021）
本文将对 Zero-Shot Day-Night Domain Adaptation with a Physics Prior，这篇文章进行讲解。参考资料如下：
专题介绍
在低光照环境下，传统成像设备往往因画面昏暗、细节丢失而受限。LLIE（低照度暗光增强）技术应运而生，它通过提升图像亮度、对比度，减少噪点并恢复色彩细节，让暗夜变得清晰可见。
LLIE技术从传统方法如直方图均衡化、Retinex模型等起步，近年来借助深度学习，尤其是卷积神经网络（CNN），GAN模型，扩散模型实现了质的飞跃。这些算法能自动学习图像特征，精准处理低光照图像，效果显著优于传统技术。
本专题将聚焦LLIE技术的核心原理、应用案例及最新进展，让我们一起见证LLIE如何点亮暗夜，开启视觉新视界！欢迎一起探讨交流！
系列文章如下
【1】ZeroDCE
【2】HVI
【3】CLIP-LIT
【4】GLARE
【5】Retinexformer
【6】SG-LLIE
【7】GPP-LLIE
【8】FusionNet
【9】EnligtenGAN
【10】PTG
【11】CSNorm
一、研究背景
本文介绍了SG-LLIE这篇文章中的结构先验计算方法。
该论文在昼夜域适应方面探索了零样本的情况。传统的域适应是在一个域上训练，然后利用测试集中的无标签数据来适应目标域，但收集测试数据既贵又有时甚至收集不到。所以作者不依赖测试数据图像，而是利用从基于物理的反射模型中得出的视觉归纳先验来做域适应。作者把一些颜色不变边缘检测器设计成卷积神经网络中的可训练层，还评估了这些层对光照变化的稳健性。结果显示，这种颜色不变层能减少整个网络中特征图激活的昼夜分布差异，而且在合成和自然数据集上的分类、分割、地点识别等多种任务中，都能提升零样本昼夜域适应的性能。
二、方法
方案主要围绕颜色不变卷积层（CIConv） 的设计展开，该卷积层基于物理反射模型推导的颜色不变特征，用于解决昼夜光照变化导致的域偏移问题。具体内容如下：
1. 物理反射模型与颜色不变特征的推导（原理推导、物理依据）
- 基础模型：方法基于Kubelka-Munk（KM）反射模型，该模型描述了物体反射光的光谱特性，公式为：
E ( λ , x ) = e ( λ , x ) ( ( 1 − ρ f ( x ) ) 2 R ∞ ( λ , x ) + ρ f ( x ) ) E(\lambda, x)=e(\lambda, x)\left(\left(1-\rho_{f}(x)\right)^{2} R_{\infty}(\lambda, x)+\rho_{f}(x)\right) E(λ,x)=e(λ,x)((1−ρf(x))2R∞(λ,x)+ρf(x))
其中， E E E 为反射光光谱， e e e 为光源光谱， R ∞ R_{\infty} R∞为物体材料反射率， ρ f \rho_{f} ρf为菲涅尔反射系数， λ \lambda λ为光的波长， x x x 为图像空间位置。 - 颜色不变特征：通过对上述模型的简化假设（这里感兴趣的读者可以详细了解一下KM反射模型，本文不做过多介绍），推导得出多种颜色不变边缘检测器（如E、W、C、N、H），这些特征仅依赖物体材料属性
R
∞
R_{\infty}
R∞，不受光照强度、颜色、场景几何（如阴影）等因素影响（表1列出了各特征的不变性属性）。
2. 颜色不变特征的计算（特征计算公式整个过程）
- RGB到光谱特征的转换：利用高斯颜色模型（高斯颜色模型（Gaussian Color Model）是一种用于图像边缘检测的经典方法，核心思想是利用高斯核函数对图像的颜色（或灰度）信息进行滤波，通过计算像素点在空间和颜色维度上的梯度变化来检测边缘。），将RGB图像转换为与光谱相关的特征（
E
E
E、
E
λ
E_{\lambda}
Eλ、
E
λ
λ
E_{\lambda\lambda}
Eλλ），公式为：
[ E ( x , y ) E λ ( x , y ) E λ λ ( x , y ) ] = [ 0.06 0.63 0.27 0.3 0.04 − 0.35 0.34 − 0.6 0.17 ] [ R ( x , y ) G ( x , y ) B ( x , y ) ] \left[\begin{array}{c}E(x, y) \\ E_{\lambda}(x, y) \\ E_{\lambda \lambda}(x, y)\end{array}\right]=\left[\begin{array}{ccc}0.06 & 0.63 & 0.27 \\ 0.3 & 0.04 & -0.35 \\ 0.34 & -0.6 & 0.17\end{array}\right]\left[\begin{array}{c}R(x, y) \\ G(x, y) \\ B(x, y)\end{array}\right] E(x,y)Eλ(x,y)Eλλ(x,y) = 0.060.30.340.630.04−0.60.27−0.350.17 R(x,y)G(x,y)B(x,y)
其中， E E E 为光强， E λ E_{\lambda} Eλ 和 E λ λ E_{\lambda\lambda} Eλλ分别为一二阶光谱导数。 - 空间导数计算：对于每个光谱特征（如
E
E
E），通过与高斯导数核进行卷积计算空间导数。以
E
x
E_x
Ex（
E
E
E在x方向的空间导数）为例，计算公式为：
E x ( x , y , σ ) = ∑ t ∈ Z E ( t , y ) ∂ g ( x − t , σ ) ∂ x E_{x}(x, y, \sigma)=\sum_{t \in \mathbb{Z}} E(t, y) \frac{\partial g(x-t, \sigma)}{\partial x} Ex(x,y,σ)=t∈Z∑E(t,y)∂x∂g(x−t,σ)
其中， g ( x − t , σ ) g(x-t, \sigma) g(x−t,σ)是标准差为 σ \sigma σ的高斯函数， ∂ g ∂ x \frac{\partial g}{\partial x} ∂x∂g为其x方向的导数，通过滑动窗口与图像中的 E E E值卷积，得到x方向的空间导数。类似地，可计算y方向的空间导数（如 E y E_y Ey），以及结合光谱导数的空间导数（如 E λ x E_{\lambda x} Eλx、 E λ λ y E_{\lambda\lambda y} Eλλy等）。 - 颜色不变特征计算：计算完了空间导数，颜色不变特征即可根据表一公式进行计算。
3. 可训练的CIConv层设计（将第二节的计算过程卷积化）
CIConv层是将第二阶段的计算过程卷积化，使其可以进行训练。
- 尺度参数的学习：高斯导数核的尺度参数 σ \sigma σ影响特征细节与抗噪性（小 σ \sigma σ 保留细节但敏感于噪声，大 σ \sigma σ抗噪但丢失细节）。作者将 σ \sigma σ 设为可训练参数（通过 σ = 2 s \sigma=2^s σ=2s转换， s s s 为训练参数），以适应任务需求。
- CIConv层的输出：层的输出通过对颜色不变特征的平方进行对数变换和样本归一化得到，对数变换和归一化降低了光照强度变化对边缘检测的影响。即使在低光或不均匀光照下，W 也能稳定表示图像的固有结构。公式为：
C I C o n v ( x , y ) = log ( C I 2 ( x , y , σ = 2 s ) + ϵ ) − μ S σ S CIConv(x, y)=\frac{\log \left(CI^{2}\left(x, y, \sigma=2^{s}\right)+\epsilon\right)-\mu_{\mathcal{S}}}{\sigma_{\mathcal{S}}} CIConv(x,y)=σSlog(CI2(x,y,σ=2s)+ϵ)−μS
其中， C I CI CI 为所选颜色不变特征， μ S \mu_{\mathcal{S}} μS 和 σ S \sigma_{\mathcal{S}} σS 为样本均值和标准差， ϵ \epsilon ϵ为数值稳定项。
该设计将物理先验融入神经网络，使模型无需目标域数据即可减少昼夜光照导致的特征分布偏移，为零样本域适应提供了基础。对于LLIE任务来说，提取的该颜色不变特征可以作为一种先验信息进行任务指导。
三、实验结果
该研究通过多个实验验证了基于物理先验的零样本昼夜域适应方法的有效性，涵盖分类、分割等任务，具体如下：
1. 合成图像分类实验
- 数据集：使用从ShapeNet数据集中选取的子集，通过物理渲染器Mitsuba生成合成图像，包含10个物体类别。训练集在“正常”光照条件（6500K）下生成，每个类别1000个样本；测试集则在不同光照强度（从暗到亮）和颜色（2500K到20000K）条件下生成，每个类别300个样本。
- 模型与训练：训练基线ResNet-18和分别加入E、W、C、N、H五种颜色不变卷积层（CIConv）的ResNet-18，训练175个epoch，使用SGD优化器，采用随机水平翻转、裁剪和旋转等数据增强方式。
- 结果：基线模型在光照条件偏离训练集时精度迅速下降，而加入CIConv层的模型性能更稳定，其中W不变量模型表现最优，且能减少网络各层特征图的分布偏移。
2. 自然图像分类实验
- 数据集：构建Common Objects Day and Night（CODaN）数据集，包含10个常见物体类别，由ImageNet、COCO和ExDark数据集组成。训练集为白天图像（每个类别1000个样本），验证集为白天图像（每个类别50个样本），测试集分为白天和夜间图像（每个类别300个样本）。
- 模型与训练：训练加入不同颜色不变层的ResNet-18，训练设置与合成图像实验类似，但数据增强改为随机亮度、对比度、色调和饱和度调整。
- 结果：W不变量模型在夜间测试集上准确率达59.67%，显著优于基线模型（48.31%）和其他方法（如AdaBN的55.55%），且其生成的边缘图能更好地保留低强度和低饱和度边缘，同时抑制噪声。
3. 语义分割实验
- 数据集：使用CityScapes的白天训练集（2975张标注图像）进行训练，在Nighttime Driving（50张粗标注夜间图像）和Dark Zurich（151张精标注夜间图像）测试集上评估。
- 模型与训练：采用RefineNet架构，分别使用ResNet-101和加入W不变量层的W-ResNet-101作为特征提取器，训练时使用随机缩放、亮度/对比度/色调调整和水平翻转等数据增强。
- 结果：W-RefineNet在Nighttime Driving和Dark Zurich测试集上的mIoU分别为41.6和34.5，优于仅使用源域数据训练的其他模型（如RefineNet的34.1和30.6），且与使用源域和目标域数据的方法性能接近。
这些实验从不同任务和数据集角度，验证了CIConv层在减少昼夜光照导致的分布偏移、提升模型鲁棒性方面的有效性。
四、总结
该论文聚焦零样本昼夜域适应问题，提出了一种基于物理先验的解决方案。通过引入基于Kubelka-Munk反射模型的颜色不变特征，设计了可训练的Color Invariant Convolution（CIConv）层，将其作为CNN的输入层，以减少光照变化导致的特征分布偏移。
在暗光增强任务作为结构先验应用的前景
暗光增强任务的核心是在提升图像亮度的同时，保留关键结构信息（如边缘、纹理）并抑制噪声。本文提出的颜色不变特征及CIConv层作为结构先验，在该领域具有以下优势：
- 保留结构一致性：颜色不变特征（如W不变量）对光照强度不敏感，能在暗光环境下稳定提取物体边缘和结构信息。将其作为先验融入暗光增强模型（如生成对抗网络），可引导模型在提亮过程中优先保留这些关键结构，避免过度增强导致的边缘模糊或细节丢失。
- 抑制噪声干扰：CIConv层通过学习高斯核尺度参数σ，在提取结构时能平衡细节保留与抗噪性（大σ增强抗噪性）。这一特性可辅助暗光增强模型区分真实结构与噪声，减少暗光环境下传感器噪声对增强结果的影响。
- 增强域适应性：暗光增强常面临“白天-黑夜”“正常光-低光”的域偏移问题，本文的物理先验可帮助模型学习光照不变的结构表示，提升模型在不同光照条件下的泛化能力，减少对大量配对暗光-正常光数据的依赖。
感谢阅读，欢迎留言或私信，一起探讨和交流。
如果对你有帮助的话，也希望可以给博主点一个关注，感谢。
扫一扫
1291
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
