79、基于类别排序的自适应像素分类用于分割

基于类别排序的自适应像素分类用于分割

1. 联合多任务方案

独立单任务方案由于 Query2Label 方法依赖大型骨干网络（如 Swin - L），存在额外的大量计算开销。因此，引入了联合多任务方案，该方案为两个子任务共享骨干网络，即 θ1 = θ2，并且 g(·; θ1) 和 f(·; θ2) 的计算也共享。

联合多任务方案的整体框架流程如下：
1. 处理输入图像 ：应用共享的多任务骨干网络处理输入图像，输出像素嵌入。
2. 多标签预测 ：将类别嵌入与下采样的像素嵌入连接，送入一个变压器编码器层，然后在精炼的类别嵌入上应用多标签图像分类器来估计多标签预测。
3. 语义分割预测 ：对类别嵌入进行排序并选择前 κ 个，将其与像素嵌入连接，送入两个变压器编码器层，基于精炼的所选类别嵌入和精炼的像素嵌入之间的 ℓ2 归一化标量积计算语义分割预测。

在消融实验中，通过经验验证了联合多任务方案相对于独立单任务方案的优势。

2. 分析实验

2.1 神谕实验

在多个具有挑战性的图像语义分割基准（PASCAL - Context/COCO - Stuff/ADE20K - Full/COCO + LVIS）上基于 Segmenter w/ ViT - B/16 进行了几组神谕实验，同时在 ADE20K 全景分割基准和 VSPW 视频语义分割基准上基于 Mask2Former w/ Swin - L 进行实验。
- Segmenter/Mask2Former