32、自动驾驶中的多任务感知技术解析

自动驾驶中的多任务感知技术解析

1. 多任务学习概述

多任务学习在计算机视觉领域是一个具有挑战性的问题，在自动驾驶中已成为一种高效且低资源消耗的范式。自动驾驶车辆需要理解并解决多个感知任务，如检测周围的汽车和行人、预测道路可行驶性以及定位车道等，以执行合适的驾驶动作。联合解决多个任务能在很大程度上减少训练和推理时间，还能促使模型学习更具通用性的表示。

虽然已有一些工作尝试在自动驾驶中对多个任务进行统一训练，但这些工作在任务类型、评估指标和数据集等方面存在差异，导致难以比较它们的性能。而且，大多数方法并非专门为自动驾驶中更常见的感知任务而设计，应用于自动驾驶系统时可能产生较差的结果。因此，对现有的多任务学习方法进行全面评估，涵盖自动驾驶中的常见任务，变得越来越迫切。

2. 2D 感知

在多任务学习模型中，从现有的最先进的预训练模型中获取通用特征至关重要。近年来，许多最新的自监督预训练方法在预训练 - 微调范式下，转移到各种视觉任务时展现出了巨大潜力。然而，它们在多任务学习场景中的可迁移性仍有待探索。

联合学习多个异构任务在训练统一模型时会带来诸多挑战，多任务学习并不总是具有普遍益处。主要原因包括：流行的预训练 - 微调范式可能因预训练和微调目标的不一致，导致多任务学习性能下降；多任务学习的性能依赖于许多重要因素，如模型架构、数据增强、超参数和收敛特性等；由于数据标注过程劳动密集，难以收集所有任务不同粒度的完整标注，进一步使情况复杂化。因此，我们聚焦于自动驾驶现实场景下部分标注数据的异构多任务学习（HMPL）。

• 多任务学习的有效适应