Paper reading: segment anything in high quality NIPS2023

最近发展起来的SAM模型，表示分割模型的一个大的跃进，尤其是在零样本的能力和灵活提升方面。尽管利用1.1bollion的mask，SAM在掩码预测方面已经存在很大的问题，尤其是目标有着复杂结构的时候。

我们提出一个HA-SAM。

设计学习一个高质量的输出token，插入到SAM的掩码解码器中，来预测高质量的掩码。

SAM的各种变种模型，性能、速度、模型大小：

SAM模型包含三部分的组件：1) image encoder; 2) Prompt encoder; 3) Mask decoder

改进的HQ-SAM框架如下：

HQ-SAM引入HQ-Output Token and Global-local feature fusion to SAM来生成高质量的掩码图。

       通过利用和固定SAM的掩码decoder，一个新的可学习的HQ-Output Token （1-256）和SAM原有的SAM output Token（4*256）+prompt token (N*256), 三者联合在一起，输入到mask decoder中，更新HQ-Output Token。 利用三层MLP来生成动态卷积核，与那些融合的HQ-feature进行点乘，生成高质量的掩码。