BLIP和BLIP2

1.BLIP

BLIP的第一个共享是将图像文本理解与图像文本生成任务进行了统一，形成了多模态统一模型，模型在ITC任务上的效果也比CLIP更好。

1.1任务

ITC：就是CLIP中的图像文本对比学习任务

ITM：针对ITC任务中匹配不正确的样本，单独进行一个Image-Text二分类任务，使得模型对齐效果更好。因为来源于网络的弱监督文本存在噪声，会使得ITC阶段的监督出现一些错误，噪声举例：

这个二分类任务的目的是让图像和文本做到细节上的对齐。

LM：基于图像，用GPT的生成任务与生成对图像的自然语言理解。

1.2网络

上图中，最左侧的image encoder还是常见的VIT等操作。

右侧的三个模型的结构很相似，其中颜色相同的部分参数也是共享的，颜色不同的部分参数不是共享的：

其中ITC和ITM的text encoder前面加上了“CLS” 和 “encoder”关键字，代表他们是处理不同任务的编码。第一步都是Bert中的BI-SELF-ATTENTION。

LM的text前加了“decoder”标记，预测过程也是GPT中一个个step逐字生成。

1.3 数据

BLIP的另外一大贡献在于：解决了来源于网络的弱监督文本的噪声问题，并且对部分图片重新生产文本。

网络数据噪声举例：

上述数据处理方法描述：

（1）红色的代表互联网上有噪声的样本，绿色的代表人类标注的真实样本。

（2）基于预训练的模型用人类标注的样本进行ITC和ITM的finetune得到更准确的模型。用新老模型分别去做推理可以过滤掉一些图文不匹配的样本。

（3）用人类标注的数据去finetune第三个LM任务，可以为一些噪声样本生成匹配的Text。

2.BLIP-2

分两个阶段：

（1）第一阶段是训练一个桥接组件，将image的embedding对齐到LLM的embedding的text空间。

（2）第二阶段相当于将image作为一个prompt给LLM，让LLM生成对图像的描述。

2.1 Image Text表征学习

2.2 Image Text生成学习