6、低光与暗光图像增强及目标检测的AI实现

低光与暗光图像增强及目标检测的AI实现

1. 低光图像捕获与处理

在低光环境下进行图像捕获时，由于像素数量少，环境中包含的信息非常有限。为了在后续阶段提高检测结果，需要在捕获环境时最大化信息。因此，原始（RAW）图像被作为初始捕获对象。不过，RAW格式图像存在尺寸大的缺点，这使得将图像传输到在线GPU服务器进行进一步处理变得困难。为避免这一问题，我们选择在移动设备上直接处理这些RAW图像。

这里，DNG格式被选中，因为它可以通过手机捕获并在同一移动设备上进行处理。例如，我们使用iPhone捕获DNG图像，用于创建后续阶段训练的数据集以及最终的应用演示。

2. 低光图像增强

低光条件下的图像增强是为了让增强后的图像能够用于后续的目标检测。模型的输入是相机在低光条件下拍摄的原始图像，输出则是增强后的图像，这些增强后的图像要能够让后续阶段检测到环境中的物体。

以往大多数图像增强技术，如添加各种滤镜或进行降噪处理，输出的图像仍然存在大量噪声，这会影响传统目标检测算法的效果。因此，图像增强模型的输出需要平滑且噪声低，以提高目标检测模块的效果。

我们采用U-net架构来进行低光图像增强。模型的输入是低光条件下拍摄并经过预处理的原始图像数据，输出是JPEG/PNG格式的增强图像，使得物体清晰可见。U-net架构中的自动编码器 - 解码器模型的输入和输出格式不同。利用给定的输入数据，模型进行端到端的训练，以增强低光条件下的图像。模型需要学习图像中的各种边界以及每个物体的颜色，这类似于图像分割问题。

U-net架构最初用于生物医学图像的分割问题，后来扩展到了许多重要应用，如使用像素级回归对遥感图像进行全色锐化。该架