【论文阅读】CLIP: 从自然语言监督中学习可迁移的视觉模型

原创 已于 2025-09-02 23:00:44 修改 · 1.3k 阅读 · 19 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#论文阅读 #学习

于 2025-08-28 23:24:27 首次发布

【论文阅读】CLIP: 从自然语言监督中学习可迁移的视觉模型

文章目录


Learning Transferable Visual Models From Natural Language Supervision

（开山鼻祖CLIP不能不看）

 

最先进的计算机视觉系统被训练来预测一组固定的预定对象类别

这种受限制的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念

从原始文本中学习图像是一种有前途的替代方案

利用了更广泛的监督来源

 

我们证明了预测哪个标题与哪个图像搭配的简单预训练任务是一种有效且可扩展的方法

在4亿个数据集上从头开始学习SOTA图像表示（图像，文本）对从互联网上收集

 

自然语言用于引用学习到的视觉概念（或描述新的）使模型能够zero-shot转移到下游任务

对30多个不同的现有计算机视觉数据集进行基准测试

 

该模型可以轻松地转移到大多数任务中

通常与完全监督的基线竞争

无需任何数据集特定的训练

 

ImageNet zero-shot上匹配原始ResNet-50的准确性，而不需要使用它所训练的128万个训练示例中的任何一个
 

一、 介绍

直接从原始文本中学习的预训练方法已经彻底改变了NLP

自回归和掩蔽语言建模等与任务无关的目标已经在计算稳步提高能力

 

任务无关架构实现zero-shot传输到下游数据集，无需专门的输出头或数据集特定的定制

同时需要很少或不需要特定于数据集的训练数据

 

在网络规模的文本集合中，现代预训练方法可以获得的聚合监督超过了高质量的人力标记的NLP数据集

直接从网络文本中学习的可扩展的预训练方法是否会在计算机视觉中产生类似的突破？

（真的是天才）

 

  • Mori et al（1999）通过训练一个模型来预测文本文档中与图像配对的名词和形容词，探索了改进基于内容的图像检索
  • Quattoni et al（2007）证明，通过在训练用于预测与图像相关的标题中的单词的分类器的权重空间中进行流形学习，可以学习更多数据有效的图像表示
  • Srivastava & Salakhutdinov（2012）通过在低级图像和文本标签特征之上训练多模态深度玻尔兹曼机来探索深度表示学习
  • Joulin等人（2016）对这一系列工作进行了现代化，并证明了经过训练以预测图像标题中的单词的CNN可以学习有用的图像表示
  • Li et al（2017）预测短语以及单个单词，并通过基于学习的视觉n-gram字典对目标类别进行评分并预测得分最高的类别，证明转移到其他图像分类数据集

 
最近展示了基于transformer的语言建模、掩蔽语言建模和对比目标从文本学习图像表示的潜力

 
虽然作为概念证明令人兴奋，但使用自然语言监督进行图像表示学习仍然很少见

 
Li et al（2017）在ImageNet上在zero-shot设置下仅达到11.5%的准确率，相反：

  • Mahajan等人（2018）表明，预测Instagram图像上与ImageNet相关的主题标签是一种有效的预处理方法
  • Kolesnikov et al（2019）和Dosovitskiy et al（2020）也通过预训练模型来预测噪声标记的JFT-300 M数据集的类别，在更广泛的传输基准集上取得了很大的收益

 

从有限数量的监督“金标签”学习和从几乎无限数量的原始文本学习之间

它们的监督分别

最低0.47元/天 解锁文章
川川子溢
关注
【第43篇】CLIP：从自然语言监督中学习可迁移的视觉模型
AI浩
06-26 1615
最先进的计算机视觉系统被训练来预测一组固定的预定对象类别。这种受限制的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念。直接从有关图像的原始文本中学习是一种很有前途的替代方案，它利用了更广泛的监督来源。我们证明了预测哪个标题与哪个图像搭配的简单预训练任务是一种有效且可扩展的方式，可以在从互联网收集的 4 亿（图像，文本）对的数据集上从头开始学习 SOTA 图像表示。在预训练之后，使用自然语言来参考学习的视觉概念（或描述新的概念），使模型能够零样本转移到下游任务。我们通过对 3
【论文解读】CLIP：从自然语言监督中学习可迁移视觉模型
进一步有进一步的欢喜~
04-26 881
OpenAI提出CLIP（Contrastive Language-Image Pre-training），首次证明：通过对齐图像-文本对的对比学习，可构建通用视觉模型，直接用自然语言描述实现零样本迁移
深度解读 CLIP 论文：从自然语言监督中学习可迁移的视觉模型
分享实践与思考
02-26 1279
本文深度讲解对比语言 - 图像预训练（CLIP）模型，该模型通过自然语言监督学习可迁移视觉模型，在多领域展现潜力，也分析了模型的性能、局限和社会影响
CLIP：从自然语言监督中学习可迁移的视觉模型
m0_65010824的博客
11-11 770
本文是对论文《Learning Transferable Visual Models From Natural Language Supervision》的深度解读。在计算机视觉领域，传统模型受限于固定类别监督、泛化性差的问题，OpenAI 团队提出的 CLIP 模型，创新性采用自然语言监督的对比学习范式，基于 4 亿图文对预训练图像与文本双编码器，实现跨模态嵌入对齐，无需任务特定训练即可零样本迁移至 30 + 视觉任务。
【自然语言处理】【多模态】CLIP：从自然语言监督中学习可迁移视觉模型
bqw的博客
05-01 2927
从自然语言监督中学习可迁移视觉模型 《Learning Transferable Visual Models From Natural Language Supervision》 论文地址：https://arxiv.org/pdf/2103.00020.pdf 一、简介 ​ 在过去几年中，直接从原始文本中进行学习的预训练方法彻底改变了NLP\text{NLP}NLP。像autoregressive\text{autoregressive}autoregressive和masked languag
CLIP：利用自然语言的监督信号学习可迁移的视觉模型
m0_55546566的博客
02-27 926
（2）和（3）为模型做zero-shot推理的结构图，分类最后使用图片特征和文本特征计算余弦相似性，把相关性最大的句子挑出来，即完成分类。，基于对比图片-文本对的预训练模型或方法。CLIP是一种基于对比学习的多模态模型，通过多模态的图文任务，学习到图片和文字的匹配关系，进而实现图片zero shot的识别能力。通过输入的训练数据是图片-文本对（图片和它对应的文本描述），学习文本图像的匹配关系。训练集：4亿个图片和文本的配对，数据集清理的非常好。上图中的（1）为模型预训练结构图，其中。
(ICML-2021)从自然语言监督中学习可迁移的视觉模型
顾道长生的科研笔记
04-23 1503
SOTA计算机视觉系统经过训练可以预测一组固定的预定目标类别。这种受限的监督形式限制了它们的通用性和可用性，因为需要额外的标记数据来指定任何其他视觉概念。直接从原始文本中学习图像是一种很有前途的替代方案，它利用了更广泛的监督来源。我们证明，预测哪个标题与哪个图像对应的简单预训练任务是一种高效且可扩展的方法，可以在从互联网收集的 4 亿对（图像、文本）数据集上从头开始学习 SOTA 图像表示。预训练后，使用自然语言来引用学习的视觉概念（或描述新的视觉概念），从而实现模型零样本传输到下游任务。
CLIP：用文本作为监督信号训练可迁移的视觉模型
m0_51976564的博客
11-13 1585
CLIP：用文本作为监督信号训练可迁移的视觉模型 Learning transferable visual models from natural language supervision
CLIP：论文阅读 -- 视觉模型
--
05-19 2222
CLIP（Contrastive Language–Image Pre-training）是一种创新的计算机视觉模型，旨在解决传统目标检测模型依赖固定分类体系和大量标注数据的局限性。该模型通过在4亿对互联网收集的图文数据上进行预训练，采用“预测图文匹配”的简单任务，成功从零开始学习到强大的图像表征能力。突破固定分类限制：利用自然语言作为通用接口，既能引用已学视觉概念，也可描述新类别，实现零样本迁移（zero-shot transfer），无需针对特定任务微调跨任务泛化性能。
论文阅读|PMLR 2021|自然语言监督|CLIP—— 从自然语言监督中学习可迁移的视觉模型
2401_89384928的博客
04-13 1234
（如 ImageNet 的 1000 类），需针对新任务重新标注数据，泛化能力受限。
【论文阅读】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
一碗白开水一
01-05 318
题目：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis作者：Ben Mildenhall Pratul P. Srinivasan Matthew Tancik Jonathan T. Barron Ravi Ramamoorthi Ren Ng。
MDMLP-EIA时序论文阅读
weixin_49891405的博客
01-06 717
是一种。在Autoformer、Dlinear等模型中，SMA被用于将原始数据分解为趋势（Trend）和季节性（Seasonality）两部分。st​k1​it∑tk−1​xi​kxt​xt1​...xtk−1​​Xx1​x2​...xn​kk3k25tst​t具体计算过程：① 填充（Padding）由于移动平均操作会导致序列长度变短，为了保证输出的趋势序列长度与原始序列一致，必须在序列的两端进行填充。
Timer-XL: Long-Context Transformers For Unified Time Series Forecasting 时序论文阅读
weixin_49891405的博客
01-06 797
同时预测 A 和 B。我们认为 A 和 B 是。
【论文阅读】Steering Your Diffusion Policy with Latent Space Reinforcement Learning
eepii的博客
01-06 1024
问题背景：虽然基于行为克隆（BC）的扩散策略（Diffusion Policy）在机器人领域表现出色，但当预训练模型性能不足时，通常需要昂贵的人工演示来改进。传统的强化学习（RL）虽然能自主改进，但在高维动作空间中样本效率极低，且容易破坏扩散模型学到的先验分布，甚至。架构：使用了基于 Soft Actor-Critic (SAC) 框架的结构，包含 Actor 网络（预测噪声位移）和 Critic 网络（评估状态-噪声对的价值）。（Latent Steering）：将预训练好的扩散策略视为一个“黑盒”。
【论文阅读】FRST（快速径向对称变换）算法
最新发布
weixin_41631106的博客
01-08 1007
本文详细解析了FRST（Fast Radial Symmetry Transform）算法，一种用于检测图像中径向对称兴趣点的有效方法。通过对图像梯度的方向与幅值进行分析，算法利用每个边缘像素沿梯度方向投票至潜在圆心位置的机制，构建方向投影图On和幅度投影图Mn，并结合二者生成对称响应图Sn。通过高斯平滑抑制噪声并融合多尺度结果S=∑Sn，实现对不同尺寸径向对称结构的鲁棒检测。文章还探讨了关键参数如α、β及高斯核An的设计原理及其对性能的影响。
【论文阅读】Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware
eepii的博客
01-05 979
研究表明，通过结合高性能的遥操作硬件和能够处理高频、精确反馈的模仿学习算法，低成本机器人也能完成复杂的精细操作任务。：通过分块，原本需要几千步才能完成的任务，在模型的视角下变成了几十个“块”的衔接。时间集成（Temporal Ensembling）：为了提高动作的平滑度，模型在每个时间步都会预测一个动作块，并对重叠部分的预测值进行加权平均。：当模型预测一个长达 100 步的动作序列时，这个序列内部可以自然地包含“先停顿 10 步，再快速移动 90 步”的信息。（样式变量），用于捕捉人类演示中的变异性。
Improving Time Series Forecasting via Instance-aware Post-hoc Revision时序论文阅读
weixin_49891405的博客
01-06 1219
的整体思路是**先用一个主干模型给出一个初始预测结果，然后再对这个结果进行修正**。：为了修正这个错误，首先必须精准识别哪些预测是失败的。：作者将这个的过程建模为一个“”任务。的目标。在传统机器学习或深度学习任务中，模型通常给出一个点预测，比如“明天的气温是 25 度”。而**要求模型输出一个范围或概率**，比如“明天的气温在 23 度到 27 度的概率是 95%”，或者“我是瞎猜的，置信度很低”。不确定性的两个主要来源：①：数据本身就是乱的、有噪声的，这是客观存在的，无法通过增加数据量来消除。
【论文阅读】RoboReward: General-Purpose Vision-Language Reward Models for Robotics
eepii的博客
01-06 964
其核心是通过一套负样本数据增强流水线（包括反事实重标记和时间裁剪），从现有的以成功案例为主的数据集中生成失败和“险些成功”的示例，从而训练出通用的 4B/8B 参数视觉语言奖励模型。反事实重标记（Counterfactual Relabeling）：保持视频内容不变，但通过 LLM 生成与视频动作不符或仅部分符合的错误指令，并分配低分（例如：视频是“捡起碗”，指令被改为“捡起叉子”）。模型规模：训练了 40 亿（4B）和 80 亿（8B）参数的通用视觉语言奖励模型。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值