【论文阅读】CLIP:Learning Transferable Visual Models From Natural Language Supervision

最新推荐文章于 2025-10-27 14:01:32 发布
原创 最新推荐文章于 2025-10-27 14:01:32 发布 · 484 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #OpenAI

根据题目，我们发现有两个关键字，一个是自然语言，另一个是可迁移性
目的就是想通过建立与语义之间的联系学一个泛化性很好的视觉模型！

总体方法

  1. 对比学习联合训练一个图像特征提取器和一个文本特征提取器
  2. 零样本预测：给定图像，通过图像特征提取和通过模板和类别构成的文本特征进行coisine 相似度比对

在这里插入图片描述

效果

在ImageNet上零样本预测精度很高，且迁移效果很好，有很强的语义性，证明了其与我们的语义世界产生了很强的联系
在这里插入图片描述
还引发了很多有趣的工作，例如StyleCLIP，CLIPDraw，Object Dection via knowledge
(open - vocabulary)

相关工作

NLP 中的 Text-to-Text 的模型使得我们不需要去专门设计输出头去完成相应的下游任务
而在CV领域这样的工作却很少见，更多的还是在有监督的数据集上进行固定类别的分类训练，有个别工作尝试去做无监督的zero-shot但是由于缺少大规模的数据集等原因，导致了其效果极差，没能够引起大家的热情。
而本篇论文就是去close this gap，将数据集推到足够大，来展现这种方法的惊人效果。

数据集构建

工作在自然语言上的方法可以被动地从互联网上海量文本中蕴含的监督中学习，数据更容易收集。
目前有MS-COCO，Visual Genome都是高质量的人群标注数据集，但是规模太小。
YF

最低0.47元/天 解锁文章
andyc_03
关注
论文阅读：CLIP:Learning Transferable Visual Models From Natural Language Supervision
微风❤水墨
09-12 384
在图2中，我们展示了6300万个参数的Transformer语言模型，其计算量已经是ResNet-50图像编码器的两倍，学习识别ImageNet类别比一个简单得多的基线慢三倍，该基线预测相同文本的词袋编码。给定一批N个（图像，文本）对，CLIP被训练来预测批次中实际发生的N × N个可能的（图像，文本）配对中的哪一个。为此，CLIP通过联合训练图像编码器和文本编码器来学习一个多模态嵌入空间，以最大化批次中N个真实对的图像和文本嵌入的余弦相似度，同时最小化N*N − N个不正确配对的嵌入的余弦相似度。
CLIP论文笔记：Learning Transferable Visual Models From Natural Language Supervision
u011426236的博客
04-26 1665
本文探索了是否可以将自然语言处理中任务无关的网络规模预训练的成功转移到其他领域。作者发现采用这种方法在计算机视觉领域产生了类似的行为，并讨论了这一研究方向的社会影响。为了优化它们的训练目标，CLIP模型学习在预训练期间执行多种任务。然后，可以通过自然语言提示利用这种任务学习，实现对许多现有数据集的零样本转移。在足够的规模下，这种方法的表现可以与特定任务的监督模型竞争，尽管仍有很大的改进空间。
CLIP学习笔记：Learning Transferable Visual Models From Natural Language Supervision
Qi__Xi的博客
04-25 4059
CLIP：Learning Transferable Visual Models From Natural Language Supervision 利用自然语言监督学习可迁移的视觉模型摘要1. 介绍2. 方法2.1 自然语言监督2.2 创建足够大的数据集2.3 选择有效的预训练方法2.4 选择和缩放模型2.5 训练3. 实验3.1 零样本迁移3.2 表示学习3.3 对自然分布迁移的鲁棒性总结
【翻译/笔记】clip-Learning Transferable Visual Models From Natural Language Supervision
weixin_45454859的博客
06-02 1883
clip翻译和笔记
CLIP大模型详解：图文对齐原理与零样本学习指南！
最新发布
Trb201013的博客
10-27 810
CLIP是OpenAI提出的多模态大模型，通过对比学习实现图文在语义空间对齐。它由图像编码器和文本编码器组成，利用约4亿对网页图文数据进行训练，无需人工标注。CLIP具备零样本学习能力，可直接应用于分类任务而不需微调，尽管在细粒度分类任务上存在局限性，但为多模态理解奠定了重要基础，相关开源资源可供进一步学习。
CLIP: Learning Transferable Visual Models From Natural Language Supervision
qq_52771580的博客
06-18 1167
《Learning Transferable Visual Models From Natural Language Supervision》阅读笔记
【论文视频】Clip：Learning Transferable Visual Models From Natural Language Supervision【多模态，对比学习，迁移学习】
py今天刷题了吗
02-24 1300
文章目录
CLIP Learning Transferable Visual Models From Natural Language Supervision
weixin_45104951的博客
04-10 3219
目录 1.引言 2.架构 3.Bag of Words和对比型目标函数来加速训练 4.伪代码 5.prompt engineering and ensembling 6.Linear Probe 7.CLIP与人对比 8.CLIP的局限性 1.引言 视觉语义与文本语义联系起来，学到的特征非常强，迁移的效果非常好。利用NLP的监督信号，学习一个迁移性能很好的视觉模型。文字图片的多模态工作，文字图片配对。 ImageNet128万数据集上CLIP使用zero-shot（不用Imag
CLIP论文阅读：Learning Transferable Visual Models From Natural Language Supervision
weixin_46231495的博客
01-06 2062
~~~~~目前一些图像分类模型在有图像标签的分类数据上训练后可以达到很好的效果，但是这需要额外的标签数据，这种受限的监督形式限制了模型的通用性和可用性。因此作者提出从原始文本中直接学习图像信息，这可以利用更广泛的监督来源。作者在一个从互联网收集的包含4亿图文对的数据集上训练，证明了预测哪个标题与哪张图片匹配的简单预训练任务是一种高效且可扩展的方法，能够学习到SOTA图像表示。~~~~~~预训练后，可以直接使用自然语言实现下游任务的零样本迁移。
ICML21 - CLIP: Learning Transferable Visual Models From Natural Language Supervision
lucius-liu.cn
09-17 579
如果你对这篇文章感兴趣，可以点击「【访客必读 - 指引页】一文囊括主页内所有高质量博客」，查看完整博客分类与对应链接。CLIP (Contrastive Language-Image Pre-training) 方法，使用大规模数据 (4 亿图像文本对) + 大模型 (Vit Large)，得到了性能超强的预训练模型。通过将文本作为监督信号，得到了图像下异构输出空间的各类任务的统一预训练模型。OpenAI 使用 4 亿对「文字-图像」通过对比学习，得到预训练模型。
[ICML 2021] CLIP: Learning Transferable Visual Models From Natural Language Supervision
连理o的博客
02-19 3731
[ICML 2021] CLIP: Learning Transferable Visual Models From Natural Language Supervision
CLIP : Learning Transferable Visual Models From Natural Language Supervision
Hanze的博客
05-08 975
之后采用对比学习的形式对这两组特征做点乘，结果作为模型的logits，对角线的元素表示了对应的文本与图像的乘积，优化目标就是让对角线的元素softmax后的结果趋近于1，其他趋近于0，分别以图像与文本两个维度做cross_entropy_loss，然后对二者loss加权求和计算总loss。在这篇文章，作者收集了4亿个（文本、图像）的数据对通过对比学习的方式对模型进行训练，发现在很多领域如OCR、分类等都能表现出很好的Zero-shot能力，有很好的泛化性，还发现模型的尺寸与精度成正比。
CLIP（Learning Transferable Visual Models From Natural Language Supervision）
ydmyyh的博客
03-29 1242
摘要 挑战： 提前定义的标签，将大大简化问题本身。但是因为采用了有限制的标签，将会限制模型本身的泛化性，尤其是对于新的问题类别。 解决方法：从文本获得一些监督信号 好处： 1、监督信号覆盖范围广，只要是文本描述过的物体，就有可能让这个模型识别到这个物体，而不仅仅是那提前定义好的类 2、作者证实用一个简单的预训练任务就可以非常高效且可扩展的学习到最好的图像表征。（预训练任务是配对图片与文本） 结论： 预训练完成之后，自然语言将引导模型进行物体的分类。不仅可以进行已经学到的分类，还可以对新的物体进行分类，也就是
CLIP：Learning Transferable Visual Models From Natural Language Supervision
qq_45821275的博客
11-04 917
CLIP打破了原有的CV领域模型的设计思路，其一次训练得到的参数可应用到所有的分类任务当中，其使用了文本和图片的对应关系，在30多个数据集上效果相当于CNN网络中的Resnet50，并且迁移性强，鲁棒性好。
【CLIP】Learning Transferable Visual Models From Natural Language Supervision
weixin_43877335的博客
05-10 791
这篇论文是利用自然语言作为监督信号学习可迁移的视觉模型，学习到泛化性能好的特征，可以做zero-shot迁移，在各种数据集上或者各种任务直接推理能获得较好的效果。 在pre-train部分，通过对比学习，判断图像和文本是不是一个配对，而不是让图像预测文本，因为对比学习训练很高效。图像和文本分别通过各自的encoder得到图像特征和文本特征，图像的encoder可以采用resnet或者VIT，文本的encoder可以采用transformer，计算n个图像特征和n个文本特征之...
clip:learning transferable visual models from natural language supervision
liguandong
07-20 2330
clip属于图文架构，模式上仍然是对比学习，同一对图像和文本是一个正例，否则为负例，在clip的输入上体现就是对齐文本和图像的维度之后，在对角线上的都是正例，在非对角线上是负例，通过一个矩阵就可以构造。一般视觉vit，文本bert，我看到chinese_clip中，文本用的是roBERTa-base/large，图像用的vit-B-16/32，vit-L-14，其实一开始openai只有英文的clip，因此也有不少团队通过蒸馏等一些手段去对齐中文bert。CLIP论文逐段精读【论文精读】-知乎。......
《读论文系列 Clip》Learning Transferable Visual Models From Natural Language Supervision（自然语言监督中学习可迁移的语言模型）
m0_61054964的博客
09-26 426
提出一个新的模型做图片分类现在的计算机视觉系统：先有一个固定的。提前已经定义好的物体类别的集合，模型去预测这些已经提前定义好的类别，完成模型训练（限制性的监督信号，限制了模型本省的泛化）本文：直接从文本中得到监督信号（语言描述这个物体，这个视觉模型就有可能能够识别到这个物体）训练过程：给一些图片，给一些句子，模型需要去判断哪一个句子和图片配对本文采用多模态的对比学习完成训练。
【论文阅读】CLIP：Learning Transferable Visual Models From Natural Language Supervision ------ 多模态，视觉，预训练模型
me_yundou的博客
02-21 7838
本博客的作用是，预习CLIP。在阅读CLIP文章前可以对文章的内容有个整体的认识，有利于阅读过程中充分理解CLIP。讲解CLIP的文章和博客已经非常多了，因此本博客不再逐字逐句解释或者翻译本文的主要内容，而是主要记录一些关键点，包括博主在初次阅读这篇文章时所遇到的问题，以及难以理解透彻的地方。故本博客以问答形式展开。
【论文简介】CLIP：图像与自然语言配对预训练可迁移模型：Learning Transferable Visual Models From Natural Language Supervision
进一寸有一寸的欢喜
05-30 3858
CLIP（ Contrastive Language–Image Pre-training）基于对比学习的语言-图像预训练）建立在零样本迁移（zero-shot transfer）、自然语言监督学习( natural language supervision, ) 和多模态学习方面的大量工作之上。 CLIP是一个预训练模型，就像BERT、GPT、ViT等预训练模型一样。首先使用大量数据训练这些模型，然后训练好的模型就能实现，输入一段文本（或者一张图像），输出文本（图像）的向量表示。CLIP和BERT、GPT
Learning Transferable Visual Models From Natural Language Supervision源代码
04-25
<think>好的，用户正在寻找论文《Learning Transferable Visual Models From Natural Language Supervision》的源代码，特别是GitHub仓库。根据之前的引用内容，特别是引用[1]提到“我们在此https://github.com/OpenAI/CLIP上发布我们的代码和预训练模型权重”，可以直接确认源代码位于OpenAI的GitHub仓库。需要确保提供的链接正确，并且可能还需要补充一些相关信息，比如安装方法、使用示例等，以帮助用户更好地使用代码。此外，用户可能对CLIP模型的应用或如何运行示例代码感兴趣，可以生成相关问题。</think>论文《Learning Transferable Visual Models From Natural Language Supervision》（即CLIP模型）的官方代码已由OpenAI开源，其GitHub仓库地址为： https://github.com/openai/CLIP [^1] 该仓库包含以下核心内容： 1. 模型实现：基于PyTorch的CLIP双编码器架构 2. 预训练权重：提供ResNet和Vision Transformer系列模型的预训练参数 3. 使用示例：包含零样本分类、特征提取等典型应用场景的代码示例 安装方法： ```bash pip install git+https://github.com/openai/CLIP.git ``` 零样本分类示例代码： ```python import clip import torch from PIL import Image device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-B/32", device=device) image = preprocess(Image.open("image.jpg")).unsqueeze(0).to(device) text = clip.tokenize(["cat", "dog", "bird"]).to(device) with torch.no_grad(): image_features = model.encode_image(image) text_features = model.encode_text(text) logits_per_image, logits_per_text = model(image, text) probs = logits_per_image.softmax(dim=-1).cpu().numpy() print("Label probabilities:", probs) ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值