7、自适应代理变压器与全景视频全景分割研究

自适应代理变压器与全景视频全景分割研究

在计算机视觉领域，少样本分割和视频全景分割是两个备受关注的研究方向。本文将介绍一种新型的自适应代理变压器（AAFormer）用于少样本分割，以及基于Waymo开放数据集的全景视频全景分割数据集。

自适应代理变压器（AAFormer）用于少样本分割

• 方法优势 ：提出的AAFormer通过变压器编码器 - 解码器架构整合原型和亲和学习，挖掘两者之间的互补性。在两个标准基准上的大量实验结果表明，AAFormer优于现有的少样本分割（FSS）方法。
• 实验分析
  • 不同算法对mIoU的影响 ：使用ALD（代理学习解码器）更新初始代理令牌，相比传统的K - Means算法，mIoU提高了0.9%，说明ALD能让代理更好地表示前景上下文。在ALD中添加OT（最优传输）算法，mIoU又提高了0.8%，表明OT带来的等分区约束有助于代理自适应地将不同目标对象分解为多样且互补的部分。当使用可学习令牌初始化代理时，mIoU下降了0.6%，不过其性能仍接近无OT的ALD的DT初始化，再次验证了ALD能产生强大的代理令牌。
  • 超参数评估 ：通过定量实验分析代理令牌数量K对分割的影响，发现性能在K = 14之前持续增长，这意味着挖掘14个不同的对象部分对代理学习解码器来说是足够的。
• 可视化分析
  • 学习到的代理令牌