利用文本信息引导视觉的模型CLIP

最新推荐文章于 2025-03-08 17:47:49 发布

saya1009

最新推荐文章于 2025-03-08 17:47:49 发布

阅读量1k

点赞数 1

分类专栏：深度学习文章标签：深度学习人工智能计算机视觉 python 机器学习

本文链接：https://blog.youkuaiyun.com/saya21/article/details/123385989

版权

CLIP模型利用自然语言监督学习，突破传统有标签数据限制，通过对比学习和Transformer架构，实现文本与图像的高效结合。其预训练模型在zero-shot和few-shot任务中表现出色，广泛应用于计算机视觉领域。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、CLIP模型

论文：Learning Transferable Visual Models From Natural Language Supervision
论文地址：https://arxiv.org/abs/2103.00020
论文代码：https://github.com/openai/CLIP

1、Motivation&Contribution

Motivation
（1）在现实世界里得到大量有标签的数据是困难的，受人力、金钱、现实等因素限制，“有严格限制”的标签是难以得到的，比如，一张狗的图片它对应的标签是dog，dog是给定的类别标签，这需要人去判断这张图片的标签，得到的数据符合<image,label>。
但是“非严格限制”的标签是容易得到的，比如，小A发布了一张狗的图片，并配文：My dog is so cute!这在网络上到处都有这样的信息，我们可以将这样的数据定义为<imge,text>，显然，text文本信息是更容易得到的，不需要专门的人员进行标注。

（2）随着对比学习Contrastive Learning、Transformer、多模态学习的发展，文本和图片任务之间互相促进，使用text中的丰富的语义信息帮助图片的识别，也成为一个重要的探索方向。

（3）NLP任务中出现了BERT这样的大型预训练模型，帮助下游任务训练，那么在CV领域中是否也能有这样的模型，大家以后只要使用这个预训练好的CLIP模型，就能低成本地得到一个精度不错的模型，实现zero-shot或few-shot。事实上，CLIP确实在很多数据集上的迁移效果非常好。
Contribution:
（1）不再受传统的标准标签限制，使用一段text作为标签。
（2）将Text引入CV，使用Text语义信息帮助图片识别并达到很好的效果。
（3）预训练的CLIP模型在zero-shot、few-shot表现出色，可以在众多下游任务中拿来应用。