2025_NIPS_Efficient Adaptation of Large Vision Transformer via Adapter Re-Composing

文章总结与翻译

一、主要内容

该研究聚焦于大型视觉Transformer模型的高效适配问题，针对全微调参数成本高、存储开销大的痛点，提出了一种全新的适配器重组（ARC）策略。核心思路是挖掘适配参数的可复用性，通过参数共享方案在保证迁移学习性能的前提下，大幅降低适配过程中的参数规模。

研究在24个下游图像分类任务（涵盖FGVC的5个细粒度分类数据集和VTAB-1k的19个多样化任务）上，基于ViT（Base/Large/Huge）和Swin-Base等多种Transformer变体进行了充分验证。实验结果表明，ARC方法在仅引入极少新增参数的情况下，取得了与现有主流高效适配方法（如LoRA、VPT、SSF等）相当甚至更优的分类精度，且推理阶段无额外计算开销，具备良好的扩展性。

二、创新点

1. 全新适配视角：突破现有方法仅关注适配器轻量化设计的局限，从适配参数可复用性出发，为大型预训练模型高效适配提供了新的研究思路。
2. 适配器重组策略：设计跨层共享的瓶颈结构（对称下投影和上投影矩阵），通过学习低维重缩放系数重组得到层自适应适配器，避免了参数随层数线性增长，显著提升了参数效率。
3. 高效推理设计：采用纯线性变换结构，可通过重参数化将适配器融合到原始预训练模型框架中，推理阶段无额外计算开销，兼顾性能与效率。
4. 良好的泛化性：不仅适用于常规ViT模型，还可扩展到Swin等分层Transformer架构，同