视觉参数高效微调(Visual Parameter Efficient Tuning)部分论文汇总

最新推荐文章于 2025-06-06 23:47:35 发布
最新推荐文章于 2025-06-06 23:47:35 发布
阅读量1.5k 收藏 18
点赞数 19
文章标签： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40714949/article/details/135503963
版权
  • [link] [code] [2024.1] [ClassWise-SAM-Adapter]
    ClassWise-SAM-Adapter: Parameter Efficient Fine-tuning Adapts Segment Anything to SAR Domain for Semantic Segmentation
    在这里插入图片描述
  • [link] [code] [2023.11] [GeoSAM]
    GeoSAM: Fine-tuning SAM with Sparse and Dense Visual Prompting for Automated Segmentation of Mobility Infrastructure
    在这里插入图片描述
最低0.47元/天 解锁文章
xiongxyowo
关注
参数高效微调：让多模态大语言模型更强大
步子哥的博客
06-10 746
近年来，多模态大语言模型（MLLMs）的出现彻底改变了多模态学习的格局。这些模型，例如LLaVA、MiniGPT4和GPT4-Vision，在各种多模态任务中展现出令人惊叹的能力。然而，由于MLLMs通常包含数十亿个参数，对所有参数进行微调变得非常具有挑战性。为了解决这个问题，本文研究了针对MLLMs的参数高效微调（PEFT）方法。我们的目标是在仅训练少量参数的情况下，找到提高MLLMs性能的有效方法。
适配器：参数高效微调的革新技术
步子哥的博客
07-17 1152
具体来说，LoRA使用两个较小的矩阵（称为更新矩阵）来表示 ΔW，这些新矩阵可以被训练以适应新数据，同时保持整体参数数量较低。具体来说，适配器方法在冻结的预训练模型的注意力层和全连接层之后添加额外的可训练参数。理论上，LoRA可以应用于神经网络中任何权重矩阵的子集，以减少可训练参数的数量。AdaLoRA通过为重要的权重矩阵分配更多参数（即更高的秩r）来管理LoRA引入的参数预算，同时修剪不太重要的权重矩阵。LoRA模型中可训练参数的最终数量取决于更新矩阵的大小，主要由秩r和原始权重矩阵的形状决定。
SAM+RS：ClassWise-SAM-Adapter: 微调SAM适应SAR域的语义分割
m0_64106140的博客
01-23 3013
ClassWise-SAM-Adapter (CWSAM)设计用于在星载合成孔径雷达(SAR)图像上对SAM进行土地覆盖分类。提出的CWSAM冻结了SAM的大部分参数，并结合轻量级adpter进行参数高效微调，并设计了一个分类掩码解码器来实现语义分割任务。这种自适应调整方法可以有效地对SAR图像进行土地覆盖分类，平衡精度和计算需求。此外，任务特定输入模块通过基于mlp的层注入SAR图像的低频信息，提高模型性能。
【论文阅读笔记】SAM-Adapter: Adapting Segment Anything in Underperformed Scenes
qq_46056318的博客
04-03 4769
SAM适配器：在表现不佳的场景中适配任何片段2023年 ICCVPaperCodeSAM无法分割任何内容？- SAM适配器：在表现不佳的场景中适配SAM：摄影、阴影、医学图像分割等2023年 arXivPaperCode大型模型（也称为基础模型）的出现为人工智能研究带来了重大进展。一个这样的模型是Segment Anything（SAM），它是为图像分割任务而设计的。
(arxiv2401) ClassWise-SAM-Adapter
OUC的搬砖日常
04-05 556
task specific input module，本质就是加入了图像的低频信息，作者认为可以提供足够的土地覆盖特征信息，以增强分割性能。注意先是给每一层使用MLP生成特征，然后有一个共享的MLP继续对特征处理。首先介绍 adaptor，如下图所示，就是在每个 attention后面加了一个 MLP，同时在 layer norm 后面也加了一个MLP。这是第一个将SAM应用于SAR图像分割的工作。Class-wise mask decoder理解也不困难，就是把二分类改为了多分类。
【计算机视觉 | 目标检测】arxiv 计算机视觉关于目标检测的学术速递（6月 30 日论文合集）
wzk4869的博客
07-04 1369
【计算机视觉 | 目标检测】arxiv 计算机视觉关于目标检测的学术速递（6月 30 日论文合集）
SSF：高效模型微调的新基石
gitblog_01081的博客
09-25 1155
SSF：高效模型微调的新基石 SSF [NeurIPS'22] This is an official implementation for "Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning". ...
高效微调（PEFT）：选取影响力大的参数进行微调
m0_56501569的博客
08-05 802
随着大模型在近几年的研究和使用热度的提高，关于如何扩展模型的能力，使其在更多的下游任务表现足够好的性能受到众多研究者的追捧，而full fine-tuning所需的计算量和内存开销非常巨大，一些高效微调（PEFT）的技术受到了企业和研究人员的广泛关注。
Prompt Pre-training：迈向更强大的Parameter-Efficient Prompt Tuning
Paper weekly
11-02 1700
©PaperWeekly 原创 ·作者 | 李国趸单位 | 浙江大学硕士生研究方向 | 少样本学习前言从 prompt learning 的发展来看，一开始关注的是将任务建模成和预训练相...
【AI视野·今日CV 计算机视觉论文速览 第252期】Fri, 22 Sep 2023
TomRen
09-23 1169
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 22 Sep 2023 Totally 90 papers 👉上期速览✈更多精彩请移步主页 Interesting: 📚SVGCustomization, 基于文本的矢量图生成定制(from 香港城市大学)。 website:https://intchous.github.io/SVGCustomization/ Daily Computer Vision Papers Active Stereo Without Pattern Pr
探索模型微调新境界：SSF，让特征缩放与平移成为效率的钥匙
gitblog_00095的博客
06-11 550
探索模型微调新境界：SSF，让特征缩放与平移成为效率的钥匙 SSF [NeurIPS'22] This is an official implementation for "Scaling & Shifting Your Features: A New Baseline for Efficient Model Tunin...
【AI视野·今日CV 计算机视觉论文速览 第284期】Fri, 5 Jan 2024
TomRen
01-07 1718
AI视野·今日CS.CV 计算机视觉论文速览 Fri, 5 Jan 2024 Totally 62 papers 👉上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Learning to Prompt with Text Only Supervision for Vision-Language Models Authors Muhammad Uzair Khattak, Muhammad Ferjad Naeem, Muzammal Naseer, Lu
CVPR2024自适应相关Adaptation论文相关33篇速览
weixin_44287798的博客
06-14 2312
CVPR2024自适应论文相关33篇速览
LLaMA- Adapter V2: Parameter-Efficient Visual Instruction Model
s_m_c的博客
08-06 1211
研究人员建议集成字幕、OCR和搜索引擎等专家系统，以补充LLaMA-Adapter V2额外的视觉推理能力，而不是收集更多的图像文本数据或采用更强大的多模态模块。具体来说，只有视觉投影层和带门控的早期零初始化注意力针对图文字幕数据进行训练，而后期适应提示与零门控、未冻结范数、新添加的偏差和比例因子（或可选的低秩适应）被用于从指令跟随数据学习。值得注意的是，新增参数的数量仅占整个LLaMA的 0.04%（∼5M），表明 LLaMA-Adapter V2仍然是一种参数高效的方法。
SAM遥感图像处理开源新SOTA！在GPU上实现40倍加速，不损准确性
学姐带你玩AI的博客
05-28 1258
在遥感图像处理领域，通过SAM捕捉复杂图像特征和细微差异，可以实现高精度的图像分割，提升遥感数据的处理效率。这种高度的准确性让展现出了比传统方法更优越的性能。不仅如此，这种策略的特性还能拓展遥感技术的应用领域，因此具有很大的创新潜力。对论文er来说，。最近发布于CVPRW24的SAM-Road模型证明了这点。SAM-Road 模型发挥了SAM模型的能力，结合了语义分割和图神经网络，在城市数据集上的处理速度比现有最先进的方法快 40 倍。除SAM-Road外，还有一些很值得学习的我从中挑选了。
【论文阅读笔记】万花筒：用于异构多智能体强化学习的可学习掩码
weixin_37938228的博客
06-06 947
摘要 在多智能体强化学习（MARL）中，通常采用参数共享来提高样本效率。然而，全参数共享的流行方法通常会导致智能体之间的策略同质，这可能会限制从策略多样性中获得的性能优势。为了解决这一关键限制，我们提出了万花筒，一种新的自适应部分参数共享方案，在保持高样本效率的同时促进策略异质性。具体来说，万花筒为不同的智能体维护一组公共参数以及多组不同的、可学习的掩码，决定参数的共享。它通过鼓励这些掩码之间的差异来促进策略网络之间的多样性，而不会牺牲参数共享的效率。这种设计使万花筒能够动态平衡高样本效率和广泛的策略表示能
论文笔记——相干体技术在裂缝预测中的应用研究
Z__XY_的博客
06-05 1244
相干体是指由三维地震数据体经过相干处理而得到的一个新的数据体，其基本原理是在三维数据体中，求每一道每一样点处小时窗内分析点所在道与相邻道波形的相似性，形成一个表征相干性的三维数据体，即计算时窗内的数据相干性，把这一结果赋予时窗中心样点。——Amoco公司相干体技术是利用地震信号相干值的变化来描述地层、岩性等的横向非均匀性，进而研究断层、微断裂的空间分布，地质构造异常及岩性的整体空间展布特征。
论文阅读：LLM4Drive: A Survey of Large Language Models for Autonomous Driving
m0_53605808的博客
06-05 1134
自动驾驶技术作为推动交通和城市出行变革的催化剂，正从基于规则的系统向数据驱动策略转变。传统的模块化系统受限于级联模块间的累积误差和缺乏灵活性的预设规则。相比之下，端到端自动驾驶系统因其完全数据驱动的训练过程有望避免误差累积，但其 “黑箱” 特性往往导致透明度不足，使得决策的验证和追溯复杂化。最近，大型语言模型（LLMs）已展现出上下文理解、逻辑推理和生成答案等能力。一个自然的想法是利用这些能力为自动驾驶赋能。
[论文阅读] 人工智能 | 大语言模型计划生成的新范式：基于过程挖掘的技能学习
最新发布
张较瘦
06-06 1300
本文介绍一项将过程挖掘技术融入大语言模型（LLMs）计划生成的研究。针对现有文本规划器缺乏结构化控制流、效率低的问题，研究提出通过过程发现提取技能模型、一致性检查优化检索的框架。实验表明，该方法提升了LLMs的并行执行能力和可解释性，为复杂任务自动化提供了新思路。
parameter-Efficient Fine-Tuning for Foundation Models论文
04-01
### Parameter-Efficient Fine-Tuning (PEFT) 的背景 Parameter-Efficient Fine-Tuning 是一种针对基础模型（Foundation Models）优化的技术，旨在通过仅调整一小部分参数来实现高效的微调过程。这种方法不仅减少了计算资源的需求，还提高了训练效率[^1]。 在神经网络中，通常会应用正则化技术以防止过拟合并促进泛化能力。这些技术可以强制模型学习更小的权重参数，从而减少复杂度和潜在的风险。对于大规模的基础模型而言，Parameter-Efficient Fine-Tuning 方法进一步扩展了这一理念，专注于更新少量的关键参数而非整个模型的所有参数。 ### 如何获取 PEFT 论文 PDF？ 为了下载有关 **Parameter-Efficient Fine-Tuning for Foundation Models** 的论文，可以通过以下几种方式： #### 1. 使用学术搜索引擎 利用 Google Scholar 或 Semantic Scholar 这样的平台输入关键词 “Parameter-Efficient Fine-Tuning”，即可找到相关研究文章及其链接。大多数情况下，可以直接访问免费版本或者通过机构权限下载全文[^2]。 #### 2. GitHub 和开源社区 许多研究人员会在其个人主页或 GitHub 上分享研究成果以及配套代码库。例如，在 awesome-LLM-resources 项目中可能包含了大量关于大语言模型（LLMs）及相关主题的资料汇总，其中包括 PEFT 技术的应用实例与理论解释。 以下是 Python 实现的一个简单示例，展示如何加载预定义适配器来进行高效微调： ```python from peft import get_peft_model, LoraConfig, TaskType # 定义 LoRA 配置 peft_config = LoraConfig( task_type=TaskType.CAUSAL_LM, inference_mode=False, r=8, lora_alpha=32, lora_dropout=0.1, ) model = ... # 加载基础模型 peft_model = get_peft_model(model, peft_config) ``` 此脚本片段展示了基于 Hugging Face 提供的 `peft` 库创建低秩适应层的过程，这是实现 parameter-efficient fine-tuning 常见的一种方法之一。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值