深度剖析多任务模型 QAT 策略

本文为笔者个人见解，如有不同意见欢迎评论

1.引言

为了节省端侧计算资源以及简化部署工作，目前智驾方案中多采用动静态任务融合网络，地平线也释放了 Lidar-Camera 融合多任务 BEVFusion 参考算法。这种多任务融合网络的浮点训练策略可以简述为：

首先在大量数据的条件下完成多任务模型 backbone 部分的浮点训练；

然后，固定 backbone 的权重，分别接多个 task head 进行单独的训练。

在这种浮点训练策略下，QAT（量化感知训练）里的 calibration（校准）和量化训练策略跟常规的单 task 模型差别较大。常规的单 task 模型一般就是用那种比较固定、普遍适用的训练办法，不过碰到复杂多变又有特定需求的情况，它的局限性就慢慢显现出来了。

这篇文章会结合具体的场景，对 calibration 和量化训练策略进行分析，然后提出一些笔者个人独特的看法，希望相关领域的研究和实践提供点有用的参考和启发。

2.量化训练策略

本文将以具有两个任务头 task_head1 和 task_head_2 的多任务模型为例进行描述。

2.1 步骤描述

此步骤的前提是模型已完成浮点训练。

在进行后续操作之前，必须确保模型已经成功地完成了浮点训练。只有在这个前提条件得到满足的情况下，才能保证后续的工作能够顺利进行，并且得到准确和可靠的结果。