【论文阅读】Object Detection in Adverse Weather for Autonomous Driving through Data Merging and YOLOv8

Object Detection in Adverse Weather for Autonomous Driving through Data Merging and YOLOv8

发表期刊：Sensors；发表时间：2023
论文地址

摘要

对于自动驾驶来说，感知是一个主要和必要的元素，它从根本上处理通过传感器对自我车辆环境的洞察。感知是具有挑战性的，它受制于动态的对象和持续的环境变化。由于雪、雨、雾、夜光、沙尘暴、强光等不利天气干扰了感知质量，导致问题变得更加严重。在本工作中，我们试图提高基于摄像头的感知精度，例如在不利天气下与自动驾驶相关的目标检测。提出了基于YOLOv8的恶劣天气环境下目标检测的改进方法，利用融合后的各种恶劣天气数据进行迁移学习。使用两个成熟的**开源数据集(ACDC和Dawn)**及其合并后的数据集，在恶劣天气下检测道路上的主要目标。根据各个数据集、它们的合并版本以及这些数据集的几个子集的特征，从训练中收集一组训练权重。通过评估在前面提到的数据集及其子集上的检测性能，还进行了训练权重之间的比较。评估表明，与YOLOv8基本权重相比，使用自定义数据集进行训练显著提高了检测性能。此外，通过特征相关数据融合技术使用更多的图像，稳步提高了目标检测的性能。

背景及相关工作

引言

自动驾驶给社会带来了许多好处，其中最重要的是安全交通。计算技术的快速发展和传感器的低成本制造对自动驾驶的研究产生了重大影响。自主车辆的自主性根据其操作过程中人的参与程度分为六个级别。它不可避免地依赖于自主子系统，如感知、定位、行为预测、规划、控制等。其中，感知是自动驾驶的重要组成部分，它利用传感器来理解自我车辆的环境。然后，感知结果通过这些环境信息帮助执行后续任务。由于动态物体和持续的环境变化，感知可能是具有挑战性的。此外，由于雪、雨、雾、夜光、沙尘暴等恶劣天气造成的感知质量中断，感知质量变得更差。在这种情况下，研究天气条件导致实现天气不变的感知，并创建一个研究社区来解决这些缺点。地球上任何地方的视觉和知觉都受到各种季节的影响，或者至少在周期性的周期中，昼夜环境不同。在恶劣天气下，传感器通常无法识别车道标线、道路标线、地标、路边单元、交通标志和信号。调查传感器可能出现的天气变化实现可靠的自主性是不可避免的，因为车辆操作的环境意识是至关重要的。

随着机器学习和人工智能技术的发展，深度学习方法正在用更新、更有效的方法取代传统的感知任务，如目标检测、跟踪等。深度学习框架被用来检测雾天条件下的车辆。… 传统的计算机视觉技术和基于深度学习的框架在改善基于图像或视频的相机感知方面都非常有帮助。图像增强、恢复和去模糊是图像或视频可以用来提高视觉质量的方法之一，它们对增强目标检测特别有帮助。现在，通过增加处理能力和更好的存储能力的新机器的到来，增加数据集的数量，可以很容易地提高深度学习框架的性能。数据短缺的问题可以通过图像增强、数据关联等方法来解决，因为每种神经网络方法都依赖于海量的数据。这些数据增长策略正变得越来越受欢迎，用于解决检测性能较差等问题。探测性能在各种天气图像上进行了测试，包括下午晚些时候、日落、黄昏、夜晚和一些不同大小的液滴。然而，主要集中在感知子系统的实时性能上，而不是视觉准确性。

到目前为止，上述讨论表明，已经作出了一些努力，以通过各种方法加强目标检测。通过图像增强、人工数据创建等各种处理来增大数据量是其中较为有效的方法之一。最近对现有的自动驾驶数据集及其覆盖的天气方面的感知的研究仍然存在一些研究空白，例如将所有不同类型的恶劣天气结合在一起