Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions(IA-YOLO)

1、总体概述

基于深度学习的目标检测在常规条件的数据集可以获得不错的结果，但是在环境、场景、天气、照度、雾霾等自然条件的综合干扰下，深度学习模型的适应程度变低，检测结果也随之下降，因此研究在复杂气象条件下的目标检测方法就显得尤为重要。现有的方法在增强图像和目标检测之间很难做到平衡，有的甚至忽略有利于检测的信息。

本文为了解决上述问题，提出了IA-YOLO架构，该架构可以自适应的增强图像，以获得更好的检测结果。文中提出一个可微分的图像处理模块DIP，DIP使用轻量级的深度学习网络（CNN-PP）学习其参数，用以提高复杂天气状况下的目标检测性能。将DIP插入YOLOV3中，直接使用原有检测模型的分类和回归损失来弱监督DIP模块的参数，进而可以使用DIP模块进行图像增强。IA-YOLO代码tensorflow版本链接

2、IA-YOLO整体架构

高分辨率的图像（如1920*1080），缩放到低分辨率的图像（256*256），低分辨率的图像通过一个轻量级的CNN-PP模块，学习一组参数，文中在去雾过程中参数为15个，因此输出为【N，15】；高分辨率的图像，依次通过去雾、白平衡、Gamma增强、Tone、对比度Contrast、锐化Sharpen进行图像的增强操作，这个过程可以看作是图像的预处理阶段，预处理增强过后的图片，送入传统的YOLOV3检测器进行目标物体的检测，使用预测框和GT框的之间的分类和回归损失进行整个网络结构的监督，进而使得DIP模块学到自适应的参数。

3、可微过滤器介绍

3.1 Pixel-wise Filters

像素级的过滤器实际上就是对输入图像每个像素R、G、B三个通道的数值通过一定的映射，输出相对应的R、G、B三个通道的数值。文中提到四个Pixel-wise Filters，它们的映射关系函数如表所示。

由表可知，WB和Gamma都是通过简单的乘法以及幂指数变化来进行像素值的转换，因此，它们对于输入图像和需要学习的参数来说都是可微分的。

对于contrast的可微分设计，作者采用如下三个公式完成：