6、用于少样本分割的自适应代理变换器（AAFormer）：原理、实验与优势

用于少样本分割的自适应代理变换器（AAFormer）：原理、实验与优势

1. 引言

少样本分割（Few-Shot Segmentation，FSS）旨在仅利用少量标注的支持图像对新类别的查询图像进行分割，这是计算机视觉领域极具挑战性的任务。传统的语义分割方法通常需要大量的像素级标注数据进行训练，难以泛化到仅具有少量标注图像的新类别。本文提出了一种自适应代理变换器（Adaptive Agent Transformer，AAFormer），通过统一的框架有效解决少样本分割问题。

2. 相关工作

2.1 语义分割

语义分割是将给定图像中的每个像素分配到一个类别标签的任务。大多数有前景的分割方法基于全卷积网络（Fully Convolutional Network，FCN）。后来，许多显著的突破来自于感受野的扩大，例如Deeplab将膨胀卷积与金字塔池化模块集成到FCN架构中。除了基于卷积神经网络（CNN）的模型，一些近期的工作也应用了基于变换器（Transformer）的架构进行语义分割，取得了相当的性能。然而，这些方法通常需要大量的像素级标注作为训练数据，无法很好地泛化到仅具有少量标注图像的新类别。

2.2 少样本分割

现有的少样本分割方法大致可分为两类：原型学习方法和亲和学习方法。
- 原型学习方法 ：大多数方法采用掩码平均池化来获得单个原型，并与查询像素进行特征比较以分割所需对象。但这些方法容易丢失空间信息，尽管近期的工作尝试通过EM算法或聚类生成多个原型以提高前景区域的空间覆盖，但仍忽略了探索有价值的像素级支持信息。
- 亲和学习方