35、自动驾驶中的多任务感知技术研究

自动驾驶中的多任务感知技术研究

1. 梯度校准技术

在多任务感知的学习过程中，梯度校准是一项关键技术。其中，$\sigma(\cdot, \cdot)$ 是由指示函数调节的组合函数，用于衡量成对输入，$\alpha$ 为加权因子。式 (9.19) 中的门控因子通过系数为 $m$ 的动量更新进一步平滑，以稳定训练过程。校准后的梯度会反向传播到相关分支，具体公式如下：
[
w_{mod}^t = m \cdot w_{mod}^{t - 1} + (1 - m) \cdot w_{mod}^t
]
[
G_{mod}^t = w_{mod}^t \cdot G_{mod}^t
]
这种技术被称为模态内梯度校准，它在不同模态之间执行。同时，还提出了梯度间校准和梯度内校准的分层视图，用于分别优化整个骨干网络和相关的模态分支。在每个更新步骤中，首先计算共享骨干网络最后一层关于两个目标的梯度，对这两个梯度进行校准以缓解任务冲突，得到一对权重。将这些权重应用于原始损失后，可得到梯度内层总损失的校准梯度 $\nabla\theta_{lid}^F$ 和 $\nabla\theta_{img}^F$，利用它们来校准相应分支的梯度，以减轻模态偏差问题。

2. 2D 感知实验

2.1 LV - Adapter 实验

• 实验设置 ：在驾驶数据集 BDD100K 上聚焦于三个任务，即目标检测、语义分割和可行驶区域分割。默认参数设置如下：
  • 训练轮数固定为 36。
  • 同步批量归一化（syncBN）开启。 <