SAM-Adapter

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨

🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。

我是Srlua小谢，在这里我会分享我的知识和经验。🎥

希望在这里，我们能一起探索IT世界的奥妙，提升我们的技能。🔮

记得先点赞👍后阅读哦~ 👏👏

📘📚 所属专栏：传知代码论文复现

欢迎访问我的主页：Srlua小谢 获取更多信息和资源。✨✨🌙🌙

​​

​​

目录

概述

模型详述

实验

数据集介绍

复现流程

环境配置

---

 本文所有资源均可在该地址处获取。

概述

SAM-Adapter 的核心思想是通过引入轻量级适配器，将任务特定知识注入到冻结的 SAM 模型中，以增强其在下游任务中的适应能力。适配器的设计简洁高效，通过灵活的任务知识输入，提升了模型的性能与泛化能力，特别是在数据稀缺场景下表现突出。

1. 该文章分析了SAM作为基础模型的局限性，并提出如何利用SAM服务于下游任务的问题；
2. 其提出的SAM-Adapter，创新性地整合任务特定知识与大模型地通用知识，灵活适应多种任务。

模型详述

1. 使用SAM作为骨干网络

• 目标：SAM-Adapter的目标是灵活利用SAM预训练模型中的知识；
• 骨干架构：使用SAM的图像编码器（基于ViT-H/16)作为骨干网络，同时保持其预训练权重不变；使用SAM的掩码解码器（包括修改后的Transformer解码器和动态掩码预测头），在预训练权重的基础上微调；
• 任务特定知识引入：通过适配器将任务特定知识 FiFi​ 注入网络，利用Prompts技术提升莫i下在下游任务中的泛化能力。

2. 输入任务特定知识
任务特