CoOp: Learning to Prompt for Vision-Language Models

原创 已于 2023-05-23 09:55:36 修改 · 465 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #计算机视觉

于 2023-05-08 21:40:37 首次发布
CoOp是针对视觉语言预训练模型的一种上下文优化方法，通过学习的向量来建模提示，改进了如CLIP模型在图像识别等任务上的性能，尤其在few-shot学习中表现出色，同时具有良好的领域泛化能力。

目录

Abstract

Introduction

Method

Vision-Language Pre-training

Context Optimization

Experiments

Few-Shot Learning

Domain Generalization

Further Analysis

Conclusion, Limitations and Future Work

Abstract

像CLIP这样的大型预先训练的视觉语言模型在表征学习方面显示出巨大的潜力，这些表征可以在广泛的下游任务中迁移。与传统的基于离散化标签的表征学习不同，视觉语言预训练模型将图像和文本在一个共同的特征空间中对齐，允许通过 prompt 做 zero-shot 迁移到下游任务，分类权重是从我们感兴趣类别的自然语言描述中合成的。

这项工作中我们表明，在实践中部署此类模型的一个主要挑战是 prompt engineering，这需要相关领域专业知识，并且非常耗时——人们需要花费大量时间在单词调优上，因为单词的微小变化可能会对性能产生巨大影响，例如在类别前有无“a”；Prompt engineering还需要关于任务的先验知识：花朵、纹理、卫星等，如下图：（而且即使是做了大量的调整，最后的精度可能不是最优的）

受自然语言处理中prompt learning研究的最新进展的启发，我们提出了上下文优化CoOp（Context

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Vision Language Models in Autonomous Driving and Intelligent Transportation Systems
weixin_46254816的博客
01-22 2015
视觉语言模型（VLM）在自动驾驶（AD）和智能交通系统（ITS）领域的应用由于其出色的性能和利用大型语言模型（LLM）的能力而引起了广泛的关注。通过整合语言数据，车辆和交通系统能够深入了解现实世界的环境，提高驾驶安全性和效率。在这项工作中，我们提出了一个全面的调查在这一领域的语言模型的进展，包括当前的模型和数据集。此外，我们还探讨了潜在的应用和新兴的研究方向。最后，我们深入讨论了挑战和研究差距。本文旨在为研究者提供目前的工作和未来的发展趋势的VLM在AD和ITS。
微型化的视觉语言模型（Visual Language Model, VLM）
抟土成人祖，炼石补青天。眼中览银河，手可摘星辰。
08-16 694
TinyGPT-V是一种微型化的视觉语言模型（Visual Language Model, VLM），结合了视觉和语言理解能力，能够处理涉及图像和文本的任务。这类模型通常在计算机视觉和自然语言处理的交叉领域发挥作用，比如图像描述生成、视觉问答（Visual Question Answering, VQA）、图像搜索等任务。TinyGPT-V代表了视觉语言模型在计算资源受限环境中的一种新兴方向。通过微型化的设计，它能够在保持一定性能的前提下，在资源受限的设备上实现多模态任务的处理，具有广泛的应用前景。
TPAMI 2024 | Vision-Language Models for Vision Tasks:A Survey
weixin_52142921的博客
12-04 1922
本文系统回顾了视觉语言模型在各种视觉识别任务中的应用，包括：(1)介绍视觉识别范式发展的背景；(2)总结广泛采用的网络架构、预训练目标和下游任务的VLM基础；(3)在VLM预训练和评估中广泛采用的数据集；(4)对现有的VLM预训练方法、VLM迁移学习方法和VLM知识蒸馏方法进行综述和分类；(5)对综述的方法进行基准测试、分析和讨论；(6)提出未来VLM研究中可能追求的几个研究挑战和潜在研究方向。
【多模态】13、Vision-Language 模型在视觉任务中的调研
呆呆的猫的博客
06-17 3206
本文主要介绍了 vision-language 模型在视觉任务中的使用
简述视觉语言模型（Vision-Language Models, VLMs）
m0_61789994的博客
01-10 5205
视觉语言模型是一种能够同时处理图像和文本数据的多模态神经网络模型。其核心任务是通过跨模态的表示学习，理解和生成与视觉内容相关的语言信息，或者从语言信息中生成与之对应的视觉内容。相比于传统的单模态模型，视觉语言模型的优势在于它能够结合视觉信息和语言信息进行多方面的推理和生成。例如，在图像描述任务中，视觉语言模型需要理解图像中的对象、场景、动作等信息，并通过语言生成准确的描述。反之，在图像问答任务中，模型需要根据自然语言问题从图像中提取相关信息，并给出准确的答案。
coop：Learning to Prompt for Vision-Language Models
Seaern的博客
03-04 5348
论文链接https://arxiv.org/pdf/2109.01134v1.pdf源码链接https://github.com/KaiyangZhou/CoOp 一、摘要 像CLIP这样的大型预训练视觉语言模型在学习表征方面显示出了巨大的潜力，这些表征可在广泛的下游任务中迁移。与传统的基于离散标签的表示学习不同，视觉语言的预训练将图像和文本对齐在一个共同的特征空间中，通过提示将零射转移到任何下游任务，即从描述感兴趣类的自然语言合成分类权值。在这项工作中,我们表明,部署的一个主要..
CoOp（论文解读）:Learning to Prompt for Vision-Language Models
m0_54248968的博客
08-19 2652
像CLIP这样大规模预训练的视觉语言模型在学习表征方面表现出巨大的潜力，并且这些表征可以迁移到广泛的下游任务中。与那些传统的基于离散标签的的表征学习不同，视觉语言预训练模型将图像和文本特征在一个共同的特征空间中对齐，这就允许了可以通过提示的方式将zero-shot迁移到下游任务中，即分类权重从类别的描述性语言中合成。在这项工作中，本文发现部署这类模型最主要的挑战就是Prompt Engineering，其需要耗费大量的时间对单词进行调整，因为提示中极小的变化就会导致性能巨大的影响。
论文笔记：coOP：Learning to Prompt for Vision-Language Models详解
热门推荐
zcyzcyjava的博客
09-11 1万+
coOP是一个专门用于调整CLIP-like视觉语言模型的简单方法，用于下游图像识别。具体来说，CoOp用可学习的向量对提示的上下文词进行建模，而整个预训练的参数则保持固定。为了处理不同的图像识别任务，我们提供了两个可实现的CoOp：统一语境和特定类别的语境。
Flamingo Model - 一种通过few-shots方法的VLM（Vision-Language Model）
a_big_king的博客
08-09 1987
构建能够仅使用少量标注示例迅速适应新任务的模型是多模态机器学习研究面临的一个挑战。我们引入了Flamingo模型，这是一种具备这种能力的视觉语言模型（VLM）。链接强大的预训练视觉和语言模型；处理任意交错排列的视觉和文本数据序列；无缝接收图像或视频作为输入。由于模型具有的灵活性，可以在包含任意交错文本和图像的大规模多模态网络语料库上进行训练，从而赋予它们上下文感知式少样本学习能力。
Vision-Language Models for Vision Tasks: A Survey阅读笔记
mashutian的博客
10-25 1279
首先，vision language model pre-training是啥呢，就是根据大量的图像-文本对来去学习其中的关系，比如CLIP模型比如一上来我有5对图像文本对，这5个pair就是我的正样本，另外，我继续两两配对出的其他图像文本对就是我的负样本了，not match。最后，作者给出了VLM pre-training的几种框架，即得到文本和图像的feature后，怎么过layer：two-tower, two-leg and one-tower pre-training frameworks.
视觉语言模型：融合视觉与语言的未来
m0_56022510的博客
07-06 3005
视觉语言模型（Vision-Language Models, VLMs）是能够同时处理和理解视觉（图像）和语言（文本）两种模态信息的人工智能模型。这种模型结合了计算机视觉和自然语言处理的技术，使得它们能够在视觉问答、图像描述生成、文本到图像搜索等复杂任务中表现出色。它是将transformer架构应用到计算机视觉领域的成功案例。具体来说就是将传统CNN中图像特征提取的全局替换为注意力机制。视觉语言模型在多个领域展示了巨大的潜力，包括图像检索、生成式AI、图像分割、医疗诊断和机器人技术。
视觉语言模型（Vision-Language Model, VLM）的简单介绍
最新发布
qq_54556560的博客
05-23 2278
视觉语言模型（VLM）起源于多模态机器学习的研究，早期计算机视觉和自然语言处理独立发展，后逐渐融合。2014-2016年，深度学习推动多模态任务兴起，2017年后Transformer架构的提出加速了领域融合，CLIP和Flamingo成为里程碑。VLM通过联合学习视觉和语言特征实现跨模态对齐，关键技术包括对比学习和跨模态注意力机制。其优势在于多模态理解能力、零样本学习和泛化性，广泛应用于智能客服、教育、医疗、自动驾驶等领域。
翻译：视觉语言动作模型，将在线知识转化到机器人控制RT-2: Vision-Language-Action ModelsTransfer Web Knowledge2Robotic Control
weixin_41407147的博客
07-30 2829
在广泛的网页规模数据集上预训练的高容量模型为各种下游任务提供了有效而强大的平台：大型语言模型不仅能使文本生成流畅（Anil等人，2023;Brohan等人，2022;OpenAI，2023），而且能解决新出现的问题（Cobbe等人，2021;Lewkowycz等人，2022;Polu等人，2022）并创造性地生成散文（Brown等人，2020;OpenAI，2023）和代码（Chen等人，2021），而视觉-语言模型则能实现开放词汇的视觉识别（Kirillov等人，2023;Minderer等人，2022。
Learning to Prompt for Vision-Language Models
qq_43775680的博客
04-04 7493
1.问题背景 识别正确的提示（识别精度尽可能高的提示），通常需要花费非常多的时间来进行单词的调 整，在单词中的一个轻微改变都可以使得在性能上有巨大的不同。但是可以发现即使是做了大量的调整，最后的精度可能不是最优的。 受到NLP领域中prompt learning研究的启发，本文提出了Context Optimization（CoOp）， 具体来说固定整个预训练模型的参数，然后对text encoder中的提示词进行学习，自动化提示工程。 对于一个新的类别分类任务来说，一个描述与任务相关的...
盘点 2024 年的视觉语言模型VLMs
xx_nm98的博客
11-24 2266
视觉语言模型（Vision Language Models, VLMs）是一类生成模型，能够同时从图像和文本中学习以解决多种任务。视觉语言模型被广义定义为能够从图像和文本中学习的多模态模型。这类生成模型以图像和文本为输入，生成文本（或图像）作为输出。大型视觉语言模型在零样本学习中表现出色，具有良好的泛化能力，并能够处理多种类型的图像，包括文档、网页等。
【微调视觉-语言模型】Learning to Prompt for Vision-Language Models
梁瑛平的博客
05-22 958
【微调视觉-语言模型】Learning to Prompt for Vision-Language Models代码地址：论文简介：动机和思路：具体实现：Vision-Language Pre-training：Context Optimization：Unified Context： 代码地址： https://github.com/KaiyangZhou/CoOp 论文简介： 像CLIP这样的大型预训练视觉-语言模型在学习表征方面显示出了巨大的潜力，并且可以将学习到的表征用于下游视觉任务。 在这项工作中
2021：VinVL: Revisiting Visual Representations in Vision-Language Models
weixin_42653320的博客
11-05 1373
摘要 本文详细研究了视觉语言（VL）任务的视觉表示的改进，并开发一种改进的对象检测模型，以提供图像的对象为中心的表示。与最广泛使用的bottom-up和top-down模型相比，新的模型更大，为VL任务设计的更好，在更大的训练语料库（结合多个公共注释的对象检测数据集）上预训练，因此，它可以生成更丰富的视觉对象和概念集合的表示。以前的VL研究主要关注改善视觉-语言融合模型，而不影响对象检测模型的改进，但我们发现在VL模型中视觉特征非常重要。在我们的实验中，我们将新的对象检测模型输入到一个基于...
ICLR 2022：预训练的大规模视觉和语言模型调优：How to Adapt Your Large-Scale Vision-and-Language Model
梁瑛平的博客
10-14 560
How to Adapt Your Large-Scale Vision-and-Language Model论文地址：主要工作：主要贡献：具体实现：实验结果： 论文地址： ICLR 2022：https://openreview.net/forum?id=EhwEUb2ynIa 主要工作： 预训练的大规模视觉和语言模型（例如CLIP）在表示和迁移学习方面显示出了良好的结果。作者研究了如何有效地使这些模型适应下游任务的问题。对于图像分类，linear probes 一直是易用性和效率的标准，而对于语言，已
类似CoOp: Learning to Prompt for Vision-Language Model的工作
05-23
在视觉-语言模型领域，类似于Context Optimization (CoOp) 的方法主要集中在通过优化提示(prompt) 来提升模型性能的技术上。这些方法通常涉及学习连续表示(continuous representation)，以便更好地适应特定任务需求...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值