Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions

原创

已于 2022-03-18 15:57:53 修改 · 7.1k 阅读

31 ·

CC 4.0 BY-SA版权

文章标签：

#目标检测 #人工智能 #计算机视觉

于 2022-03-18 15:56:26 首次发布

该研究提出了一种名为IA-YOLO的新型图像自适应目标检测方法，旨在解决恶劣天气条件下的目标检测难题。IA-YOLO采用了一个可微分图像处理（DIP）模块，其参数由小型CNN预测，以适应性地增强图像并去除天气干扰。通过联合优化DIP、CNN-PP和YOLOv3检测网络，IA-YOLO在正常和恶劣天气条件下都能自适应地处理图像。实验结果显示，IA-YOLO在有雾和弱光场景中的检测性能优于现有方法。

用于恶劣天气条件下目标检测的图像自适应 YOLO

Object Detection in Adverse Conditions

Proposed Method

DIP Module

CNN-PP Module

Detection Network Module

Abstract

尽管基于深度学习的目标检测方法已经在传统数据集上取得了可喜的结果，但现在从低质量图像，例如在恶劣的天气条件下捕获定位对象，仍然具有挑战性。现有方法要么难以平衡图像增强和目标检测，或者经常忽略潜在的有利于检测的信息。为了缓解这个问题，我们提出了一种新颖的图像自适应 YOLO (IA-YOLO)框架，其中每个图像都可以自适应地增强更好的检测性能。具体来说，提出了一个可微分图像处理（DIP）模块来考虑YOLO 探测器的恶劣天气条件，其参数由小型卷积神经网络 (CNN-PP) 预测。我们联合学习 CNN-PP 和 YOLOv3一种端到端的方式，确保 CNN-PP 可以以弱监督方式学习适当的 DIP 以增强图像。我们提出的 IA-YOLO 方法可以自适应地处理正常和不利的图像天气状况。实验结果非常好，证明了我们提出的 IA YOLO 方法在有雾和弱光场景中的有效性。

Introduction

基于 CNN 的方法已在目标检测中盛行（Ren et al. 2015; Redmon and Farhadi 2018）。他们不仅在基准数据集测试中取得了可喜的表现（Deng 等人，2009；Everingham 等人，2010；Lin 等人，2014），也在已部署在实际应用中，例如自动驾驶（Wang et al. 2019）。由于输入图像的域偏移（Sindagi et al. 2020），由高质量图像训练的通用目标检测模型在不利的天气条件下（例如，有雾和暗光）往往无法取得令人满意的结果。Narasimhan 和 Nayar (2002) 和 You 等人（2015）建议在恶劣天气下捕获的图像可以分解为清晰的图像及其对应的天气信息，而恶劣天气下的图像质量下降主要是由天气下信息和对象之间的相互作用引起的，这导致检测性能不佳。图 1 显示了一个在有雾的条件下对象检测示例。以看出，如果图像能够针对天气状况进行适当的增强，更多关于原始模糊对象的潜在信息和识别错误的对象可以恢复。

为了解决这个具有挑战性的问题，Huang、Le 和 Jaw（2020）采用两个子网络来共同学习可见性增强和对象检测，其中通过共享特征提取层来减少图像退化。但是训练的参数很难平衡检测和恢复。另一种方法是稀释影响通过预处理图像来获取特定于天气的信息，现有方法，例如图像去雾（Hang et al. 2020;刘等人。 2019）和图像增强（Guo et al. 2020）。然而，在这些方法中复杂的图像恢复网络需要通过像素级监督单独训练。这需要手动标记图像以进行恢复。这个问题也可以被视为无监督的域适应任务（Chen等。 2018; Hnewa 和 Radha 2021）。与训练有清晰图像（源图像）的探测器相比，假设在恶劣天气下拍摄的图像（目标图像）有分布转变。这些方法大多采用域适应原则，侧重于对齐两个分布的特征，而在基于天气的图像恢复过程中可以获得的潜在信息通常被忽略。

为了解决上述限制，我们提出了一个巧妙的图像自适应目标检测方法，称为 IA-YOLO。具体来说，我们建议使用完全可微分的图像处理模块（DIP），其超参数是自适应的，由基于 CNN 的小型参数预测器 (CNN PP) 学习。 CNN-PP 根据输入图像的亮度、颜色、色调和天气特定信息自适应地预测 DIP 的超参数。经DIP模块处理后，可以抑制图像中特定天气信息的干扰，同时恢复潜在信息。我们提出了一个联合优化方案学习 DIP、CNN-PP 和 YOLOv3 主干检测网络（Redmon 和 Farhadi 2018）以端到端的方式。为了增强图像进行检测，CNN-PP 是一种弱监督方式通过边界框注释，学习适当的 DIP。此外，我们利用在正常和恶劣的天气条件下的图像进行训练。通过利用 CNN-PP 网络，我们提出的 IA-YOLO 方法能够自适应地处理受不同程度天气影响的图像。图 1 显示了通过我们提出的方法的检测结果的示例。

这项工作的亮点是：1）提出了一个图像自适应检测框架，在正常和恶劣天气条件下有很好的表现；2) 提出一个 white-box 可微分图像处理模块，其超参数由弱监督预测网络训练得到； 3) 与以前的方法进行比较，在两个合成数据集上（VOC_Foggy 和 VOC_Dark）和真实世界数据集（RTTS 和 ExDar