【开放域目标检测】三：Learning transferable visual models from natural language supervision论文补充

这里主要再简单看一下框架图：

• 训练比较简单，使用的是对比学习的方法，做图文匹配的任务，计算相似度。给定batch = $N$的image-text pairs，CLIP预测$N\times N$的概率（利用线性变换得到multi-modal embedding space的向量，点乘计算得到相似度），对角线即为正样本，其它都是负样本。
• 预测分类的使用，将label构建成文本，再分别计算相似度即可得到答案。