伪装目标检测论文阅读 SAM大模型之参数微调：Conv LoRA

paper：link
code：还没公开

摘要

  任意分割模型(SAM)是图像分割的基本框架。虽然它在典型场景中表现出显著的零镜头泛化，但当应用于医学图像和遥感等专门领域时，其优势就会减弱。针对这一局限性，本文提出了一种简单有效的参数高效微调方法Conv-Lora。通过将超轻量级卷积参数集成到低阶自适应(LORA)中，Conv-LoRa可以在普通VIT编码器中注入与图像相关的感应偏差，进一步强化了SAM的局部先验假设。值得注意的是，Conv-Lora不仅保留了SAM丰富的分割知识，而且恢复了其学习高层图像语义的能力，这一能力受到SAM前景-背景分割预训练的限制。跨多个领域的不同基准测试的全面实验强调了ConvLoRA在使SAM适应现实世界的语义分割任务方面的优势。

1.介绍

1）SAM的图像编码器是一种普通的VIT，众所周知，它缺乏视觉特定的感应偏差，这对密集预测有用。
2）SAM的预训练本质是一个二值掩膜预测任务，在给定一个指示的情况下，它将目标的前景和背景分离，低层掩码预测预训练阻碍了SAM捕获高层图像语义信息的能力，这些能力对于多类语义分割等任务至关重要。
  为了克服上述限制，同时仍然保留SAM在预训练期间获得有价值的分割知识，微调了一部分模型参数，同时冻结了SAM的大部分预先训练的权重，实现了参数高效微调（PEFT:parameter efficient finetuning )，从而提出一个问题：PEFT能否使用与图像相关的局部先验信息来增强SAM编码器，并促进高级语义信息的获取。
  在本文中，我们提出了一种新的PEFT方法，称为Conv-LORA，深入到低阶适应(LORA)(Hu等人，2021)。LORA将可训练的线性投影层引入SAM编码器的每一层变换器层，从而帮助恢复其提取高级语义信息的能力。我们的实验表明，LORA优于广泛采用的视觉提示调整(VPT)(Jia等人，2022)，特别是在多类语义切分任务中。在Lora之上，Conv-Lora在其瓶颈结构中集成了轻量级卷积层。卷积可以通过局部空间运算引入与图像相关的局部先验信息(即一个像素与其相邻像素的相关性比与距离较远的像素更强)(Chen等，2022)。此外，考虑到目标尺度的潜在变化，在适当的尺度(S)中注入局部先验是必要的。为此，Conv-Lora从专家混合(MoE)的概念中获得灵感(Shazeer等人，2017年)，并纳入了多个并行卷积专家，每个专家专门从事不同的特征规模。由于VIT以固定的比例处理图像特征，通常从原始分辨率向下采样16倍，Conv-Lora的每个专家最初以特定比例恢复图像特征，应用卷积运算，然后将特征恢复到默认比例。与VIT-Adaptor(Chen等人，2022)和Swin Transformer(Liu等人，2021A)等视觉特定转换器相比，Conv-Lora提供了一种隐式方法来实施多尺度局部先验，假设它可以利用默认尺度上的图像特征来重建更高尺度上的特征信息。幸运的是，SAM的监督预训练包括各种尺度的面具，使VIT能够获得超出默认尺度的图像特征知识。
  本着PEFT的精神，我们还去掉了提示编码器，并在掩码解码器中增加了轻量级的MLP，以实现多类预测。这一简单的修改将SAM转换为端到端模型，该模型可以在二进制和多类语义分割应用程序上进行微调。
总体而言，我们的贡献可以概括为：
1.我们提出了一种创新的PEFT技术Conv-Lora。通过加入辅助卷积运算，Conv-LoRa从处理普通VIT限制的角度加强了SAM的局部先验。
2.Conv-Lora使用MOE对动态选择适当的特征尺度以注入视觉特定的感应偏差的过程进行建模。
3.我们的研究表明，SAM的预训练阻碍了其VIT编码器学习高级图像语义信息的能力。然而，LoRA展示了帮助SAM恢复这一关键能力的潜力。
4.我们进行了一项涵盖多个领域的广泛基准，包括自然图像、农业、遥感和医疗保健。在各种下游任务中，Conv-Lora始终表现出优于其他PEFT技术的性能

2.模型结构图

Conv-LoRA插入了由MoE管理的轻量级卷积运算，额外参数可以忽略不计 ；在我们的方法中，虽然MoE主要用于预训练，但我们将MOE用作下游任务的参数高效调整的一部分。

3.方法

3.1 CONV——LoRA

LoRA：首先，让我们简要地回顾一下LORA(Hu等人，2021年)的设计，它使用编码器-解码器结构来对权重更新施加低阶约束。它冻结预先训练的模型权重，并将小的可训练秩分解矩阵注入变压器体系结构的每一层。具体地，在给定预先训练的权重矩阵的情况下，LoRA在其一侧增加了一对线性编码器$W_e$和解码器$W_d$，即可训练的秩分解矩阵。$W_e$和$W_d$满足低阶约束$W_e\in R^{b\times a}$,
W d ∈ R b × r {W_d} \in {R^{b \times r}} Wd​∈R