CoOp - CLIP 自适应Prompt工程 【一】

已于 2024-02-16 12:28:41 修改
阅读量2.5k 收藏 26
点赞数 31
分类专栏： CLIP相关 文章标签： prompt 人工智能 gpt 图像处理 神经网络 机器学习 计算机视觉
于 2024-02-12 17:05:18 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39516724/article/details/136101674
版权

又开一坑，最近准备介绍 CLIP多模态大模型 相关的后续优化，首先我们可以聊一下在 Prompt Engineering（提示工程）上， 后面的作者都做了什么工作，因为 提示工程 是我们最容易实现&资源最友好的工作了。

下面会有如下几篇博文进行  Prompt Engineering 方面的工作的阐述:

         【1】 CoOp - CLIP 自适应 Prompt 工程 [本文]

         【2】CoCoOp - CLIP 自适应 Prompt 工程

一. 综述

由于大模型的推陈出新，大模型的资源消耗让很多人对于模型的重新训练 & 微调 难以实现。因此仅利用提示词，在没有或者极少量的数据下引导 模型对于我们业务下有更好的效果 的工程方式，简称 Prompt-Engineering。 被学术 & 工业界 大量应用。 但是由于 Prompt 词需要大量的人工来进行 微调和使用，该 分享 向大家介绍一个 基于 多模态模型 - Coop 自适应学习Prompt词汇，来做到符合业务预期， 带来更好效果的工作。

二. 背景

我们都知道，对于大模型来说。 Prompt Engineering [特征工程] 成为一个越来越重要的方向和工作， 在包括GPT【生成式大模型】以及 CLIP

最低0.47元/天 解锁文章
FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing
志在山顶的人，不会贪念山腰的风景
12-20 205
FM-CLIP: Flexible Modal CLIP for Face Anti-Spoofing”由澳门科技大学、中国科学院等单位的Ajian Liu、Hui Ma等人撰写。文章提出了一种名为FM-CLIP的新型灵活模态人脸反欺诈（FAS）方法，通过利用文本特征动态调整视觉特征以实现模态独立性，在多模态数据集上取得了优于现有方法的性能。
读论文-OVSeg-基于遮罩自适应CLIP的开放词汇语义分割-Open-vicabulr semantic segmentation with mask-adaptived CLIP
计算机视觉
12-23 1001
特别是，当在COCO上进行培训并在ADE20K-150上进行评估时，我们的最佳模型实现了29.6%的mIoU，比之前的最先进水平提高了+8.5%。Cheng等人，2021），但现代语义切分模型主要是用预定义的类别进行训练，未能推广到看不见的类。与具有固定类的更精确和手动注释的分割标签（例如，COCO Stuff）相比，我们发现我们的嘈杂但多样的数据集可以更好地保留CLIP的泛化能力。我们通过挖掘现有的图像字幕数据集（例如，COCO字幕）收集训练数据，使用CLIP将掩蔽的图像区域与图像字幕中的名词相匹配。
多模态论文串讲笔记
weixin_48076759的博客
06-22 572
coop 和 CLIP-adapter 都是在 clip 基础上增量式的工作，clip 使用一个人为设定好的 prompt 直接进行零样本推理，而 coop 和 CLIP-adapter 都是使用小样本学习，coop 是初始化一个随机的 prompt，在小样本中学习合适的 prompt，从而更适应这个任务；adapter 是在模型中间插入一个随机的可学习的模块，通过更新这个模块来更适应下游任务。
CoCoOp - CLIP 自适应Prompt工程 【二】
weixin_39516724的博客
02-16 2033
CLIP多模态大模型 在 Prompt工程 的改进型工作: CoCoOp的原理 & 实现代码 & 优化方向 & 解决的问题
prompt工程起步
最新发布
m0_73359068的博客
03-14 1638
有关CLIP和ActionClip的手工特征,也是一个进步。通过给标签填入不同的修饰语当中，组成一段话来,来增强语义理解这个就是一个手工提示词,针对于特殊的任务设计出来的。text_dict就是蕴含着一个模板是键,对应不同的一句话!将输入标签随机选一个模板与视频进行对比学习！
自适应Prompt：让LLM更懂你的意图
m0_56255097的博客
01-27 648
传统的提示方法往往依赖于固定的示例集，这限制了模型的潜力发挥。最近，德克萨斯大学达拉斯分校等机构的研究团队提出了一种突破性的自适应提示方法（Adaptive-Prompt），该方法通过动态选择最具信息量的示例来显著提升模型的推理能力。这项研究不仅在理论上具有创新性，更在实践中展现出显著的性能优势，很值得看一看。
CLIP与CoOp代码分析
热门推荐
weixin_44031582的博客
01-15 1万+
CLIP与CoOp代码分析 CoOp是稍微改了下CLIP的text encoder CLIP代码：https://github.com/OpenAI/CLIP CoOp代码：https://github.com/KaiyangZhou/CoOp 输入一张图片和三段文本，使用CLIP，计算相似度。以下是向量维度分析 import torch import clip from PIL import Image device = "cuda" if torch.cuda.is_available() else
多模态中的Prompt范式：从CLIP、CoOp到CLIP-adapter
Paper weekly
11-03 1万+
©作者 |吉雅太单位|清华大学研究方向|多模态研究CLIP最近 NLP 中第四范式 prompt 比较火，就是不再是生硬地从预训练直接过渡到微调任务，而是用 prompt（提示）...
CoOp：学习用于视觉语言模型的Prompt
weixin_51697828的博客
12-20 1359
原文：Zhou,Kaiyang,JingkangYang,ChenChangeLoyandZiweiLiu.“LearningtoPromptforVision-LanguageModels.”ArXivabs/2109.01134(2021). 1.Abstract 视觉语言预训练是一种很有前途的表示学习方法。它从传统的使用图像和标签来学习一组固定的权重(视觉概念)，转变为为两个独立的编码器对齐图像和原始文本。这种范式受益于更广泛的监督来源，并允许zero-s...
多模态大模型少样本自适应综述
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 571
为了通过微调提高模型的泛化性能，研究人员首先提出了基于提示的微调适应方法（例如，CoOp [14]），该方法将CLIP文本端的固定文本输入视为可学习的向量，然后使用少量样本进行微调，以适应下游任务。此外，引入基础语言模型或外部知识（如知识图谱，例如，CuPL [16]）的方法可以帮助模型更好地处理未见样本，增强其语义理解和鲁棒性，从而提高其在少样本适应任务中的性能。因此，在这篇综述中，本文介绍并分析了多模态模型少样本适应方法的研究进展，总结了常用的数据集和实验设置，并比较了不同方法的结果**。
CoCoOp: Conditional Prompt Learning for Vision-Language Models
LuvLive的博客
05-18 3144
Conditional Prompt Learning for Vision-Language Models
CoOp: Learning to Prompt for Vision-Language Models
qq_45821275的博客
11-05 2919
CoOp将人工设置的Prompt，变为一个learnable prompt，并在CLIP上取得了很不错的效果。
coop：Learning to Prompt for Vision-Language Models
Seaern的博客
03-04 5202
论文链接https://arxiv.org/pdf/2109.01134v1.pdf源码链接https://github.com/KaiyangZhou/CoOp 一、摘要 像CLIP这样的大型预训练视觉语言模型在学习表征方面显示出了巨大的潜力，这些表征可在广泛的下游任务中迁移。与传统的基于离散标签的表示学习不同，视觉语言的预训练将图像和文本对齐在一个共同的特征空间中，通过提示将零射转移到任何下游任务，即从描述感兴趣类的自然语言合成分类权值。在这项工作中,我们表明,部署的一个主要..
一个通用的自适应prompt方法，突破了零样本学习的瓶颈
zenRRan的博客
06-01 1450
深度学习自然语言处理 原创作者：Winni今天要给大家介绍一篇Google的研究，解决了大语言模型（LLMs）在零样本学习方面的困境。相比于少样本学习，LLMs在零样本学习上常常表现得比较弱，这主要是因为缺乏指导。而且，目前的研究对零样本学习的改进也不多，因为在没有真实标签的任务中设计prompt方法还比较困难。为了解决这个问题，这篇研究提出了一种Universal Self-adaptive P...
论文解读：(CoOp)Learning to Prompt for Vision-Language Models
weixin_50917576的博客
04-17 5109
在这项工作中，我们展示了在实践中部署这样的模型的主要挑战是快速工程，这需要领域的专业知识，并且非常耗时——人们需要花费大量的时间在单词调优上，因为措辞的微小变化可能会对性能产生巨大的影响。受自然语言处理(NLP)中提示学习研究的最新进展的启发，我们提出了上下文优化(CoOp)，这是一种简单的方法，专门用于将类似clip的视觉语言模型用于下游图像识别。具体地说，CoOp用可学习的向量对提示的上下文词建模，而整个预训练的参数保持固定。
【大模型】Prompt
Dong_ZH的博客
12-19 3068
Prompt就是“提示”的意思，通俗解释可以参考你画我猜游戏。如下图所示：提示词就作为Prompt，指导对方说出正确答案。而自然语言处理任务中的Prompt也有同样的效果，指导模型输出正确的答案。 Prompt刚刚出现的时候，还没有被叫做Prompt，是研究者们为了下游任务设计出来的一种输入形式或模板，它能够帮助PLM“回忆”起自己在预训练时“学习”到的东西，因此后来慢慢地被叫做Prompt了。 Prompt Learning是指对输入文本信息按照特定模板进行处理，把任务重构成一
Prompt | 从CLIP到CoOp，Visual-Language Model新范式
Kaiyuan_sjtu的博客
10-25 2005
最近NLP领域提出了Prompt新范式，企图革新原先的Fine-tuning方法，而在CV领域中，Prompt其实可以理解为图像label的设计，从这个角度看，Prompt(预测文本中ma...
CLIP微调方式
weixin_44966641的博客
10-12 6404
以学习 prompt 的方式来进行少样本学习，性能提升的同时还能保持 CLIP 模型本身参数不动。挺有用的一篇工作，虽然这种 prompt 的方式在 NLP 中早就有了，但应用到多模态 CLIP 中还是有一些意义的。
【提示学习代码】CoOp代码详读
weixin_51293984的博客
03-16 4761
CoOp是对CLIP的改进工作，主要是对prompt进行学习从而不用来手动设置prompt。自定义CLIP模型:上述两个模块结合而成的CLIP。文本编码器，接收文本的输入，并输出相应的编码表示。将图像和文本进行编码并计算它们之间的相似性。permute后变成了（4，2，3）Prompt学习器，用于学习生成提示。
PyPI 发布新的 Python 库：coop-geo-0.1.8
在这个上下文中，“coop-geo-0.1.8.tar.gz”是一个Python库的源代码压缩包。该文件遵循“name-version.tar.gz”的命名规则，其中“coop-geo”是库的名称，“0.1.8”是库的版本号。这种文件格式用于分发和安装那些还...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值