27、近红外闪光图像助力低光场景图像增强及新型注意力模型探索

近红外闪光图像助力低光场景图像增强及新型注意力模型探索

1 低光场景图像增强

1.1 图像去噪与重建

在低光场景下进行图像拍摄，往往会面临噪声和模糊等问题。为了解决这些问题，我们采用了一种结合近红外（NIR）闪光图像的方法。首先，通过特定算法对图像进行处理，该算法对光谱差异不敏感，性能优于相关方法。具体操作时，我们将大尺度图像和修正后的细节图像进行重新组合，得到去噪后的彩色图像 (I_{denoised}^c(p))，其计算公式为：
[I_{denoised}^c(p) = I_{large scale}^c(p) \times I_{detail}^c(p)]

1.2 利用NIR闪光图像去除模糊

对于长时间曝光在低光环境下拍摄的彩色图像中的模糊问题，我们利用NIR闪光图像来解决。具体步骤如下：
1. 在单张彩色图像的曝光时间内，拍摄一系列NIR闪光图像。
2. 基于光流法，以类似于Ben - Ezra的方法直接获取运动模糊核。
3. 使用Richardson - Lucy反卷积算法对模糊的彩色图像进行去模糊处理。

从NIR闪光图像估计模糊核的过程如下：
1. 利用光流法计算NIR图像连续帧之间的运动。
2. 连接连续的运动，得到单张彩色图像曝光时间内的运动路径。
3. 考虑能量守恒约束，将运动路径转换为模糊核。

1.3 实验设置与参数

我们实现了一个由3CCD彩色相机和NIR相机组成的多光谱成像系统。图像通过半反射镜进行分割，彩色相机使用SONY XC - 003，NIR相机使用XC - EI50，并采用覆盖NIR通滤