SAM下游任务的研究：SAM Adapter-优快云博客

本文分享自华为云社区《SAM下游任务的研究：SAM Adapter》，作者：Hint。

近期大模型的支撑给AI研究带来了显着的发展，Segment Anything（SAM），就是其中一个为图像分割任务设计的基础大模型。SAM是一种交互型的图像分割大模型，通过提供的提示如点、框、文本描述等粗略的提示，就可以分割出图像中指定的目标，其演示的效果十分渗透。然而在某些特殊场景的图片上并不会带来如此渗透的效果，可能是由于数据差异性导致，比如阴影训练、伪装目标检测。但SAM强大的分割能力依然可以作为我们的分区模型的基础，更好地为下游任务服务。本文介绍的方法SAM Adapter[2]，设计了一个适配器模块，它可以在不干预SAM网络的情况下，通过简单而有效的配合，将领域特定的信息或视觉提示注入到分割网络中，从而提高SAM在特定任务上的性能。该论文在多个任务和数据集上进行了广泛的实验，包括ISTD遮光检测数据集、COD10K、CHAMELEON和CAMO伪装物体检测数据集，以及kvasir-SEG息肉分割（医学图像分割）数据集。实验结果证明，SAM- Adapter不仅显着提升了SAM的性能，而且在这些任务上达到了最先进的水平。

如上图所示，该模型使用了SAM的图像编码器和掩模解码器，其中图像编码器冻结了参数，解码器是参与梯度回传的。这样可以有效利用SAM已经预训练好的分割能力，同时解码器更新参数以改装下游任务。另外引入了Adaptor模块，用于引入特殊任务的知识，辅助适配器模型。Adaptor的网络结构由两层MLP层构成，其输入的知识可以是微处理器的，对于文中的任务，其输入可以是纹理信息或者是频率信息等。各种信息用下面的权重来均衡。