33、自动驾驶多任务感知：2D感知的全面解析

自动驾驶多任务感知：2D感知的全面解析

1. 多任务学习基础

多任务学习（MTL）架构通过参数共享来学习不同任务之间的共享信息。根据参数共享范围，MTL架构可分为以编码器为中心的架构和以解码器为中心的架构。以编码器为中心的架构又可进一步分为硬参数共享和软参数共享。在本文中，由于硬参数共享结构简单且稳定，我们选择其作为骨干架构。在该架构中，参数仅在模型的编码器部分共享，随后连接特定任务的头部。图像输入首先经过共享编码器，然后特征图被输入到不同的头部以产生相应的预测。

多任务学习涉及以下几个关键方面：
- 任务调度 ：任务调度是指在每个训练步骤选择要训练的任务的过程。常见的调度方法包括固定顺序的循环调度（Round-Robin），以及按照特定分布采样任务的方法，如均匀采样器（Uniform sampler）和加权采样器（Weighted sampler）。均匀采样器从均匀分布中采样任务，加权采样器则根据每个任务的训练轮数按比例采样任务。我们对这三种任务调度方法进行了测试和性能比较。
- 任务平衡 ：任务平衡旨在处理网络中共享参数的任务之间的梯度问题。当处理多个任务时，共享参数可能会被梯度幅度大的任务主导，或者被冲突的梯度所混淆。为了解决这个问题，人们提出了几种方法：
- 固定加权 ：在训练过程中固定所有损失权重。
- 不确定性加权 ：引入与任务相关的同方差不确定性，通过最大化不确定性的高斯似然来加权损失。
- GradNorm ：计算任务梯度的L2范数与相对逆学习率的