OpenCLIP简介

介绍

 CLIP数据集来自LAION-5B（LAION-400M，LAION-2B，DataComp-1B，DFN-5B？），由50亿个图片以及图片对应的标签组成。包含23.2亿的英文描述，22.6亿个100+其他语言以及12.7亿的未知语。
 CLIP(Contrastive Language-Image Pretraining), 是OpenAI利用4亿张互联网上找到的图片，以及图片对应的Alternative文字训练的多模态模型。不仅可以拿来做常见的图片分类、目标检测，也可用来优化业务场景的商品搜索和内容推荐。CLIP能够基于视觉和语言相互关联的方式，实现无监督或弱监督的图像分类任务，并在多项视觉和语言任务中取得了优异的性能。Stable Diffusion V1中使用OpenAI的CLIP的 ViT-L/14进行文本嵌入。
 CLIP模型由两个主体部分组成：Text Encoder和Image Encoder。这两部分可以分别理解成文本和图像的特征提取器。CLIP模型采用了对比学习（Contrastive Learning）和预训练（Pre-Training）的方法，使得模型能够在大规模无标注数据上进行训练，并学习到具有良好泛化能力的特征表示。
 Image Encoder，CLIP使用“ViT-L/14@336px”这个模型，也就是架构为Large，patch_size = 14的ViT，同时在整个CLIP预训练结束后，用更高分辨率（336*336）的图片做了一个epoch的fine-tune
 Text Encoder，使用改进版的 Transformer，一个带有8个注意头的 63M 参数的12层512宽 Transformer 模型，CLIP借鉴的是GPT2的架构。
 对比学习是一种学习相似性度量的方法。假设一个batch中共有N对<图像，文字>对，那么它们过完各自的Encoder后，就会分别产生N条文字向量[T1,T2,…,TN] N条图片向量[I1,I2,…,IN] 这两组向量，将会分别过一次多模态Embedding（multimodal embedding） ，也就是在图中代表文字的紫色向量下，还有一层参数Wt（图中没有画出来），文字向量