图文匹配：Clip模型介绍

最新推荐文章于 2025-10-22 11:02:32 发布

原创

最新推荐文章于 2025-10-22 11:02:32 发布 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #人工智能 #计算机视觉

CLIP模型由OpenAI开发，通过对比学习在大量未标注的图文数据上预训练，无需依赖标注图像数据集。模型包括CNN和Transformer，能理解图像和文本语义，适用于图像分类、图像生成等任务，在无微调的zero-shot情况下表现优异。

论文地址：Learning Transferable Visual Models From Natural Language Supervision

代码：https://github.com/openai/CLIP

Clip（Contrastive Language-Image Pre-Training）是由OpenAI于2021年推出的一种深度学习模型，它是一种可以同时处理文本和图像的预训练模型。与以往的图像分类模型不同，Clip并没有使用大规模的标注图像数据集来进行训练，而是通过自监督学习的方式从未标注的图像和文本数据中进行预训练，使得模型能够理解图像和文本之间的语义联系。

CLIP(Contrastive Language Image Pretraining)这篇文章出自OPEN-AI大名鼎鼎的Alec-Radford（GPT系列的一作，在GAN，Diffusion等各种生成领域都颇有影响力）。而CLIP这篇论文可以看做是多模态在预训练时代的一次妙到巅峰的任务设计。

NLP领域里借助海量文本进行无（自）监督式的预训练使得各种与下游任务类型无关的模型架构成为可能，并取得了非常好的迁移性和效果。CLIP使用了一种对比学习的方式，在4亿图文对上进行了文本和图片的匹配任务训练，使得该模型在无任何微调的情况下（zero-shot），在imageNet上取得了和ResNet-50微调后一样的效果。