《Learning to Prompt for Vision-Language Models》CoOp论文解读

于 2024-09-12 16:38:14 发布
阅读量1.8k 收藏 12
点赞数 61
CC 4.0 BY-SA版权
分类专栏： 论文 文章标签： prompt 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/buyaotutou/article/details/142173251

系列文章目录

文章目录

论文细节理解

  1. “具体地，对于任何新的分类任务，可以首先通过将描述任务相关类别的句子给予文本编码器来合成分类权重，然后与由图像编码器产生的图像特征进行比较。”具体解释一下。
    （1）文本编码器的使用：对于一个新的分类任务，首先需要定义与该任务相关的类别。这通常通过编写描述每个类别的句子来完成。例如，如果任务是识别动物类别，可以使用“这是一只狗”、“这是一只猫”等句子。
    （2）合成分类权重：将这些描述性句子输入到文本编码器中，模型会将这些文本转换为向量表示。这些向量实际上就是每个类别的“特征”，可以被视为分类权重。
    （3）图像编码器的使用：然后，图像编码器会处理输入的图像，将其转换为特征向量。
    （4）比较特征：最后，将从图像编码器获得的图像特征向量与文本编码器生成的类别特征向量进行比较。这个比较通常使用余弦相似度等方法来评估图像与各个类别的匹配程度。
    （5）分类决策：通过比较结果，模型可以确定图像最可能属于哪个类别，从而完成分类任务。
    这种方法的优点在于，它不需要为每个新任务重新训练模型，而是利用预训练模型的能力，通过简单的文本描述来适应新的分类任务。
  2. 对于文本特征提取，早期的工作主要利用预先训练的词向量（Socher等人，2013年;弗罗姆等人，2013）或手工制作的TF-IDF特征（Elhoseiny等人，2013年; Lei Ba等人，2015年）的报告。其中TF-IDF特征具体什么意思。
    3.

1、研究背景

最近在视觉-语言模型（如CLIP）方面的进展显示出跨不同下游任务的迁移学习能力。与传统的基于离散标签的视觉表示学习不同，视觉-语言预训练将图像和文本对齐在一个共同的特征空间中，

最低0.47元/天 解锁文章

200万优质内容无限畅学
CoOp: Learning to Prompt for Vision-Language Models
LuvLive的博客
05-08 420
Learning to Prompt for Vision-Language Models
【微调视觉-语言模型】Learning to Prompt for Vision-Language Models
梁瑛平的博客
05-22 866
【微调视觉-语言模型】Learning to Prompt for Vision-Language Models代码地址：论文简介：动机和思路：具体实现：Vision-Language Pre-training：Context Optimization：Unified Context： 代码地址： https://github.com/KaiyangZhou/CoOp 论文简介： 像CLIP这样的大型预训练视觉-语言模型在学习表征方面显示出了巨大的潜力，并且可以将学习到的表征用于下游视觉任务。 在这项工作中
coop：Learning to Prompt for Vision-Language Models
Seaern的博客
03-04 5226
论文链接https://arxiv.org/pdf/2109.01134v1.pdf源码链接https://github.com/KaiyangZhou/CoOp 一、摘要 像CLIP这样的大型预训练视觉语言模型在学习表征方面显示出了巨大的潜力，这些表征可在广泛的下游任务中迁移。与传统的基于离散标签的表示学习不同，视觉语言的预训练将图像和文本对齐在一个共同的特征空间中，通过提示将零射转移到任何下游任务，即从描述感兴趣类的自然语言合成分类权值。在这项工作中,我们表明,部署的一个主要..
Learning to Prompt for Vision-Language Models
qq_43775680的博客
04-04 7251
1.问题背景 识别正确的提示（识别精度尽可能高的提示），通常需要花费非常多的时间来进行单词的调 整，在单词中的一个轻微改变都可以使得在性能上有巨大的不同。但是可以发现即使是做了大量的调整，最后的精度可能不是最优的。 受到NLP领域中prompt learning研究的启发，本文提出了Context Optimization（CoOp）， 具体来说固定整个预训练模型的参数，然后对text encoder中的提示词进行学习，自动化提示工程。 对于一个新的类别分类任务来说，一个描述与任务相关的...
论文解读：(CoOp)Learning to Prompt for Vision-Language Models
weixin_50917576的博客
04-17 5458
在这项工作中，我们展示了在实践中部署这样的模型的主要挑战是快速工程，这需要领域的专业知识，并且非常耗时——人们需要花费大量的时间在单词调优上，因为措辞的微小变化可能会对性能产生巨大的影响。受自然语言处理(NLP)中提示学习研究的最新进展的启发，我们提出了上下文优化(CoOp)，这是一种简单的方法，专门用于将类似clip的视觉语言模型用于下游图像识别。具体地说，CoOp用可学习的向量对提示的上下文词建模，而整个预训练的参数保持固定。
（CoOp）Learning to Prompt for Vision-Language Models
wsygxxn的博客
07-07 726
CLIP将图像及其文本描述放在一起，排除特征空间中不匹配的对（将图像和文本在公共特征空间中对齐）。 通过大规模预训练，模型可以学习不同的视觉概念，并可以通过提示轻松转移到任何下游任务。CoOp——第一个将prompt learning应用于大视觉语言模型。自动化提示工程(prompt engineering)。CoOp旨在促进视觉语言模型在下游数据集中的适应和部署。CoOp 使用可学习向量(learnable context)对提示的上下文单词进行建模，这些向量可以使用随机值或预训练的单词嵌入进行初始化。
《Learning to Prompt for Vision-Language Models》CoOp论文中文校对版
buyaotutou的博客
09-11 1424
像CLIP这样的大型预训练视觉语言模型在学习表示方面表现出了巨大的潜力，这些表示可以在广泛的下游任务中转移。与传统的主要基于离散化标签的表示学习不同，视觉语言预训练将图像和文本在一个共同的特征空间中对齐，这允许通过提示将zeroshot转移到下游任务，即，从描述感兴趣的类别的自然语言合成分类权重。在这项工作中，我们表明，在实践中部署此类模型的一个主要挑战是快速工程，这需要领域专业知识，并且非常耗时-需要花费大量时间进行文字调整，因为措辞的轻微变化可能会对性能产生巨大影响。
【提示学习代码】Learning to Prompt for Vision-Language Models（CoOp代码复现）
weixin_51293984的博客
02-04 1736
这个 Bash 脚本中，for SEED in 1 2 3 部分在三个不同的种子下运行相同的实验。每次迭代都使用了一个不同的种子值（1、2、3），以确保在不同运行中获得相似但不完全相同的随机性。half只有GPU支持，pytorch cpu不支持半精度训练，此时去看，isavailable为False；不清楚，重装了torch、torchvision。新下载项目，重装一遍dassl。
CoOp（论文解读）:Learning to Prompt for Vision-Language Models
m0_54248968的博客
08-19 2058
像CLIP这样大规模预训练的视觉语言模型在学习表征方面表现出巨大的潜力，并且这些表征可以迁移到广泛的下游任务中。与那些传统的基于离散标签的的表征学习不同，视觉语言预训练模型将图像和文本特征在一个共同的特征空间中对齐，这就允许了可以通过提示的方式将zero-shot迁移到下游任务中，即分类权重从类别的描述性语言中合成。在这项工作中，本文发现部署这类模型最主要的挑战就是Prompt Engineering，其需要耗费大量的时间对单词进行调整，因为提示中极小的变化就会导致性能巨大的影响。
Conditional Prompt Learning for Vision-Language Models
开心的火龙果的博客
04-06 1830
本文是对CoOp方法提出的改进。CoOp由论文Learning to Prompt for Vision-Language Models提出，CoOp针对CLIP模型做了改进，将人工设计的提示修改为了可学习的参数，具体来说就是，CoOp不再使用"[x]的照片"作为提示，而是引入了M个可学习的提示向量。由于CoOp学到的提示参数存在对训练集过拟合的现象，在新类别上的泛化性能不好，因此作者又进一步提出了CoCoOp。CoCoOp加入了一个轻量的模型，用于为每个输入图像生成一个补充提示向量，提升模型在新类别上的泛
论文笔记：coOP：Learning to Prompt for Vision-Language Models详解
zcyzcyjava的博客
09-11 9392
coOP是一个专门用于调整CLIP-like视觉语言模型的简单方法，用于下游图像识别。具体来说，CoOp用可学习的向量对提示的上下文词进行建模，而整个预训练的参数则保持固定。为了处理不同的图像识别任务，我们提供了两个可实现的CoOp：统一语境和特定类别的语境。
[AAAI 2023 Oral] : Multi-modal 多模态 / Vision-language 视觉语言收录论文集合（42篇）
二十四桥明月夜的博客
02-17 3679
内容主要包括AAAI 2023 Oral中Multi-modal 多模态 / Vision-language 视觉语言 相关的Paper，若有遗漏欢迎补充。
Prompt—从CLIP到CoOp，Visual-Language Model新范式
AI_Conf的博客
09-18 607
以下是AMiner今日推荐的两篇论文详细内容介绍： 论文名称： (1) Unifying Vision-and-Language Tasks via Text Generation (2)Multimodal Few-Shot Learning with Frozen Language Models 论文链接： (1)https://www.aminer.cn/pub/601d3fe591e011945792250c?f=cs (2)https://www.aminer.cn/pub/60dbbedb91e
【prompt五】CoCoOP:Conditional Prompt Learning for Vision-Language Models
m0_60231311的博客
03-05 1576
随着像CLIP这样强大的预训练视觉语言模型的兴起，研究如何使这些模型适应下游数据集变得至关重要。最近提出的一种名为上下文优化(CoOp)的方法将提示学习(nlp的最新趋势)的概念引入视觉领域，以适应预训练的视觉语言模型。具体来说，CoOp将提示中的上下文单词转换为一组可学习的向量，并且仅使用少量标记的图像进行学习，可以实现比密集调整的手动提示的巨大改进。在我们的研究中发现了CoOp的一个关键问题:学习到的上下文不能推广到同一数据集中更广泛的未见类，这表明CoOp过拟合了训练期间观察到的基本类。
【提示学习论文五】Conditional Prompt Learning for Vision-Language Models论文原理及复现工作
weixin_51293984的博客
01-06 1857
计算预测概率的公式，涉及了上下文标记和模型的预测函数。Meta-Net 结构: Meta-Net采用了一个。评估模型对给定输入图像的类别预测概率。和 Meta-Net 的参数。，隐藏层将输入维度降低了16倍。训练过程中，更新了上下文向量。
CoOp：学习用于视觉语言模型的Prompt
weixin_51697828的博客
12-20 1394
原文：Zhou,Kaiyang,JingkangYang,ChenChangeLoyandZiweiLiu.“LearningtoPromptforVision-LanguageModels.”ArXivabs/2109.01134(2021). 1.Abstract 视觉语言预训练是一种很有前途的表示学习方法。它从传统的使用图像和标签来学习一组固定的权重(视觉概念)，转变为为两个独立的编码器对齐图像和原始文本。这种范式受益于更广泛的监督来源，并允许zero-s...
多模态中的Prompt范式：从CLIP、CoOp到CLIP-adapter
热门推荐
Paper weekly
11-03 1万+
©作者 |吉雅太单位|清华大学研究方向|多模态研究CLIP最近 NLP 中第四范式 prompt 比较火，就是不再是生硬地从预训练直接过渡到微调任务，而是用 prompt（提示）...
多模态预训练中的Prompt（MAnTiS，ActionCLIP，CPT，CoOp）
nakaizura
10-31 6127
上一篇博文整理了预训练新范式（Prompt-tuning，Prefix-tuning，P-tuning），主要是围绕NLP上的成果，具体的概念本文也不做过多赘述。本篇文章将主要整理几篇有代表性的Prompt方法在多模态领域中的应用。 Multimodal Conditionality for Natural Language Generation Prompt用于Natural Language Generation多模态NLG任务。 先从NLG任务过渡到Vision-language的应用吧，这篇文章主
MaPLe: Multi-modal Prompt Learning for Vision-Language Models
最新发布
04-03
<think>好的，用户想了解关于Multi-modal Prompt Learning for Vision-Language Models（MaPLe）的研究或实现。首先，我需要回忆一下相关文献，特别是最近的多模态提示学习方法。用户提到了LAMM，这是一个标签对齐的方法，用于优化CLIP中的类标签嵌入。所以可能MaPLe也是类似的框架，但可能更强调多模态的联合优化。 接下来，我需要确认MaPLe的具体内容。根据之前的知识，CoOp和Co-CoOp等方法主要优化文本端的提示，而MaPLe可能同时在视觉和文本模态上进行提示学习。例如，在视觉分支插入可学习的提示向量，同时在文本端也进行类似的调整，这样能更好地对齐两个模态的特征。 然后，用户提到实现，可能需要提供一个代码示例。需要确保代码结构清晰，使用PyTorch框架，并参考CLIP的实现方式。比如，定义一个MaPLe类，包含视觉和文本编码器，并在两个分支中加入可训练的参数作为提示。 另外，用户提供的引用[1]是关于LAMM的，其中提到通过端到端训练优化标签嵌入，减少图像和类别表示之间的差距。这可能与MaPLe的分层损失或联合训练策略有关，需要将这些点整合到回答中，说明MaPLe如何结合现有方法进行改进。 还要考虑用户可能的深层需求，比如MaPLe相比其他方法的优势，实现时的关键点，以及应用场景。需要强调多模态联合提示带来的更好对齐，以及在少样本学习中的效果提升。 最后，生成相关问题时要围绕MaPLe的核心概念、实现细节、与其他方法的对比以及应用场景展开，确保问题具有针对性和延伸性，帮助用户进一步探索。</think>### Multi-modal Prompt Learning (MaPLe) 实现与研究解析 #### 核心概念 MaPLe通过**联合优化视觉与文本模态的提示向量**增强视觉-语言模型的迁移能力[^1]。与仅优化文本提示（如CoOp）或仅优化图像编码（如LAMM）的方法不同，MaPLe采用双路径结构： $$ \text{Visual Prompt}: V' = [P_v; V] \quad \text{Text Prompt}: T' = [P_t; T] $$ 其中$P_v$和$P_t$分别为视觉/文本模态的可学习提示符，$V$和$T$是原始特征。 #### 实现要点（基于PyTorch） ```python import torch import clip class MaPLe(torch.nn.Module): def __init__(self, n_ctx=4, class_names=None): super().__init__() self.model, _ = clip.load("ViT-B/32") # 视觉提示参数 self.visual_prompt = torch.nn.Parameter( torch.randn(1, n_ctx, 768)) # ViT-B通道维度 # 文本提示参数 ctx_dim = 512 # CLIP文本编码维度 self.text_prompt = torch.nn.Parameter( torch.randn(n_ctx, ctx_dim)) # 类别嵌入初始化 self.class_embeddings = torch.cat([ clip.tokenize(f"a photo of a {c}") for c in class_names ]) def forward(self, image): # 视觉提示处理 vit = self.model.visual x = vit.conv1(image) x = x + self.visual_prompt # 插入视觉提示 x = vit(x) # 后续ViT处理 # 文本提示处理 text_features = self.model.encode_text( torch.cat([self.text_prompt, self.class_embeddings])) return x @ text_features.T ``` #### 关键技术突破 1. **跨模态对齐机制**：通过分层损失函数同时约束： $$ \mathcal{L} = \alpha \mathcal{L}_{cls} + \beta \mathcal{L}_{align} $$ 其中$\mathcal{L}_{align}$使用对比损失缩小视觉-语义鸿沟 2. **参数高效性**：典型配置仅需训练0.1%的参数（ViT-B/32约0.8M可训练参数） 3. **零样本增强**：在ImageNet上实现： | 方法 | 准确率(1-shot) | 准确率(16-shot) | |------------|----------------|-----------------| | CLIP | 64.2% | 72.1% | | CoOp | 68.4% | 75.3% | | **MaPLe** | **71.7%** | **77.9%** | #### 应用场景 1. 少样本图像分类（医疗影像诊断） 2. 跨模态检索（电商图文匹配） 3. 开放词汇检测（自动驾驶场景理解）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值