Visual Prompt Tuning

最新推荐文章于 2024-12-15 17:07:37 发布
原创 最新推荐文章于 2024-12-15 17:07:37 发布 · 1.5k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #pytorch #nlp

本文介绍了一种名为视觉提示调整（VPT）的技术，它通过在输入空间中注入少量可学习参数来适应大型预训练视觉转换器模型。VPT使模型在下游任务训练时保持主干冻结，只更新提示参数和线性头。该方法有两种实施方式：一种是在每个变压器-编码器层的输入预先设置一组可学习的参数（VPT-deep），另一种是仅将提示参数插入第一层的输入（VPT-shallow）。

我们提出视觉提示调整（VPT）来适应大型预先训练的视觉转换器模型。VPT将少量可学习的参数注入transformers的输入空间，并在下游训练阶段保持主干冻结。整体框架如图

（a）为每个变压器-编码器层的输入（VPT-deep）预先设置一组可学习的参数；

（b） 仅将提示参数插入第一层的输入（VPTshallow）。

在下游任务的培训过程中，只有提示和线性头的参数会更新，而整个变压器编码器会被冻结。

【ECCV 2022】Visual Prompt Tuning
梁瑛平的博客
09-27 1870
目前采用预训练模型的方法包括更新所有的主干参数，即完全微调。本文则介绍了视觉提示调优（VPT）作为一种有效的大型 Transformer 模型的替代方案。VPT 从有效调优大型语言模型的最新进展中获得灵感，在输入空间中只引入了少量（少于模型参数的1%）的可训练参数，同时保持模型主干冻结。对各种下游识别任务的广泛实验表明，与其他参数高效的调优协议相比，VPT获得了显著的性能提高。最重要的是，在许多情况下，VPT在跨模型容量和训练数据规模的情况下甚至优于完全微调，同时降低了每个任务的存储成本。
Visual Prompt
一位不是很硕的鉴伪方向硕士
04-03 2415
正如随着attention机制和transformer在NLP成为主流，attention+CNN、Vit、Swin-transformer、ShiftVit等基于attention和transformer的CV模型不断涌出一样；在看到prompting在NLP变得越来越火时，我们自然问道：Why not visual prompting?
Visual Prompt Tuning 笔记
小鬼漫步的博客
08-05 1065
Prompt在纯CV中的应用
Visual Prompt Tuning (VPT)
wandererXX的博客
11-16 3617
VPT阅读笔记
论文解读：Visual Prompt Tuning
m0_54248968的博客
09-03 1627
当前调整预训练模型的方法需要更新backbone的全部参数，即完全微调。本文提出了一种高效的方法VPT，成为视觉中大规模transformer模型完全微调的替代方案。从微调大规模语言模型中吸取经验，VPT仅在输入空间中引入少数的可训练参数，保证骨干网络参数冻结。通过对各种下游识别任务的广泛实验证明，与其他参数高效的微调方法相比，VPT实现了显著的性能提升。最重要的是，在许多情况下，VPT在模型容量和训练数据规模上甚至优于完全微调，同时降低了每个任务的存储成本。
【提示学习论文七】Visual Prompt Tuning论文原理
weixin_51293984的博客
01-16 2486
这篇文章于2022年发表在ECCV（European Conference on Computer Vision），作者是Menglin Jia, Luming Tang,Bor-Chun Chen, Claire Cardie, Serge Belongie,Bharath Hariharan, Ser-Nam Lim。VPT是一种有效的用于大规模Transformer的视觉微调，只需要在输入空间引入少量可训练参数，同时冻结backbone。
VFPT: Visual Fourier Prompt Tuning
weixin_50917576的博客
12-08 1112
随着基于transformer的视觉模型的规模不断增长，为新任务调整这些大规模预训练模型已经变得越来越参数密集。针对这一趋势，提出了一种参数有效微调（PEFT）方法——视觉提示调谐。尽管取得了成功，但在几乎所有PEFT方法中都存在一个显著的研究挑战：当预训练和微调阶段使用的数据集之间存在实质性差异时，会观察到显著的性能下降。为了解决这一挑战，我们从人类视觉认知中汲取灵感，并提出了视觉傅立叶提示调谐（visual Fourier Prompt Tuning, VFPT）方法...
【论文阅读】《Visual Prompt Tuning》
weixin_44001371的博客
07-15 1881
目前调整预训练模型的工作方式包括更新所有骨干参数，即。本文介绍了，作为大规模视觉变换器模型全面微调的高效替代方案。VPT 从高效调整大型语言模型的最新进展中汲取灵感，只在输入空间中引入少量（少于模型参数的 1%）可训练参数，同时保持模型主干冻结。通过对各种下游识别任务的广泛实验，我们发现与其他参数高效调整协议相比，VPT 能显著提高性能。最重要的是，在模型容量和训练数据规模方面，VPT 在很多情况下甚至优于完全微调，同时降低了每个任务的存储成本。代码见。
论文解读：(VPT)Visual Prompt Tuning
weixin_50917576的博客
04-22 7014
目前适应预训练模型的操作方法涉及更新所有骨干参数，即全面微调。本文介绍了视觉提示调谐(Visual Prompt Tuning, VPT)作为一种有效的替代方案，在视觉上对大型变压器模型进行全微调。从高效调优大型语言模型的最新进展中获得灵感，VPT在保持模型主干冻结的同时，仅在输入空间中引入少量(不到模型参数的1%)可训练参数。
【论文笔记】Visual Prompt Tuning
小嗷犬的博客
12-15 1650
当前在适应预训练模型的方法中，涉及更新所有骨干参数，即全量微调。本文介绍了视觉提示微调（VPT），作为大规模视觉Transformer模型中全量微调的高效且有效的替代方案。受到最近在大规模语言模型高效调优方面的进展的启发，VPT在保持模型骨干冻结的同时，仅在输入空间引入少量（小于模型参数的1%）可训练参数。通过在广泛下游识别任务上的大量实验，我们表明VPT相较于其他参数高效调优协议实现了显著的性能提升。
Visual Prompt Tuning笔记
m0_46261292的博客
04-15 559
对于大多数识别任务来说，大多数的精确结果是来自基础模型在全新数据上训练的结果，但将大型模型应用在下游任务本身就是一个需要解决的问题。现有的策略是用full fine-tuning预训练，这种方式需要为每个任务存储部署大量骨干参数，非常耗费资源。而Transformer恰好参数远大于卷积神经网络，更浪费。作者的方法只在输入空间中引入少量特定于任务的可学习参数，同时在下游训练期间冻结整个预训练的Transformer骨干，结果对24种下游识别任务都有不错的表现。
视觉提示微调（Visual Prompt Tuning）[ECCV 2022] 安装与使用指南
gitblog_00792的博客
10-11 1239
本指南旨在帮助您快速了解并开始使用 [KMnP/vpt](https://github.com/KMnP/vpt.git)，这是一个基于PyTorch实现的视觉提示微调方法，主要用于提升预训练视觉模型在下游任务上的性能。以下是三个关键内容模块： ## 1. 项目目录结构及介绍 视觉提示微调（VPT）项目的结构精心组织，便于开发者深入研究和调整。下面是其核心组件： - **`src`**: 包...
视觉Prompt新方法：超越所有微调方法，参数量大幅减少
Paper weekly
05-11 1628
©作者|赵阳、小舟来源|机器之心来自康奈尔大学、Meta AI 和哥本哈根大学的研究者提出一种优化 Transformer 的有效方案，在只添加少量参数的情况下，对下游任务有极大的提升效果。识别问题往往是通过预训练大型基础模型处理大量精选或原始数据的方式解决的。这似乎是一种可行的模式：只需利用最新最好的基础模型，就可以在多个识别问题上取得极大的进展。然而，在实践中...
检测一切！Visual Prompting：视觉提示扩展检测模型能力
阿木寺的博客
03-24 1367
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【目标检测和多模态】交流群添加微信：CVer5555，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！宣传一下最近我们做的几个工作，集中在通过视觉提示(visual prompt)来扩展检测模型的...
Visual-Language Prompt Tuning with Knowledge-guided Context Optimization
最新发布
01-21
### 关于视觉-语言提示调优与知识引导的上下文优化的研究 #### KgCoOp的关键思想 KgCoOp旨在通过减少可学习提示和人工提示之间的差异来缓解对一般文本知识的遗忘。这种方法确保在不放弃原有知识的前提下，使模型保持与普遍知识的一致性[^1]。 #### 方法概述 具体而言，在CLIP和CoOp框架下，尽管视觉编码器φ和预训练的文本编码器θ均处于冻结状态，但不同于CLIP采用固定的提示方式，CoOp专注于推断适合特定任务需求的提示以增强其适用性和区分度。而KgCoOp进一步发展了这一理念，强调利用已有的广泛类别层面的文字资料作为基础来进行调整优化工作[^2]。 #### 文本知识嵌入的应用 为了提升这些可学习提示的表现——即它们既能广泛应用又能精准识别目标对象的能力——研究人员开发出了名为TKE的技术方案。这项技术能够把描述各类事物特征的信息转化为计算机易于处理的形式，并将其同之前已经过训练得到的结果结合起来，从而创造出既具有针对性又富含背景含义的新颖表达形式。实验结果显示这种做法确实有助于改善系统的性能表现[^3]。 ```python def text_knowledge_embedding(class_description, pretrained_class_token): """ Converts class-level textual embeddings into task-specific prompts using TKE. Args: class_description (str): Description of the class to be converted. pretrained_class_token (Tensor): Pretrained token associated with the class. Returns: Tensor: Task-specific prompt embedding. """ # Convert description to embedding class_embedding = convert_to_embedding(class_description) # Combine with pretrained token combined_embedding = combine_embeddings(pretrained_class_token, class_embedding) return combined_embedding ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值