35、自动驾驶多任务感知技术研究与实验

自动驾驶多任务感知技术研究与实验

在自动驾驶领域，多任务感知是实现安全、高效驾驶的关键。本文将围绕多任务感知中的一些关键技术和实验展开，包括梯度校准、不同感知任务的实验设置和结果分析等内容。

1. 梯度校准技术

梯度校准在多任务学习中起着重要作用，它可以解决任务冲突和模态偏差等问题。具体介绍了两种梯度校准技术：
- 内部梯度校准（Intra-gradient Calibration） ：$\sigma(\cdot, \cdot)$ 是由指示函数调节的组合函数，用于测量配对输入。$\alpha$ 是加权因子。通过动量更新（系数为 $m$）对公式 (9.19) 中的门控因子进行平滑处理，以稳定训练。校准后的梯度将反向传播到相关分支，具体公式如下：
- $w_{mod}^{t} = m \cdot w_{mod}^{t - 1} + (1 - m) \cdot w_{mod}^{t}$
- $G_{mod}^{t} = w_{mod}^{t} \cdot G_{mod}^{t}$
- 跨梯度和内部梯度校准结合 ：在共享主干的最后一层计算关于两个目标的梯度，对这两个梯度进行校准以减轻任务冲突，得到一对权重。将这些权重应用于原始损失后，获得内部梯度层上总损失的校准梯度 $\nabla_{\theta_{lid}}^{F}$ 和 $\nabla_{\theta_{img}}^{F}$，用于校准相应分支的梯度。

2. 2D 感知实验

2.1 LV - Adapter 实验

• 实验设置