多模态大模型解读

目录

1. CLIP

2. ALBEF

3. BLIP

4. BLIP2

参考文献

---

        （2023年）视觉+语言的多模态大模型的目前主流方法是：借助预训练好的LLM和图像编码器，用一个图文特征对齐模块来连接，从而让语言模型理解图像特征并进行深层次的问答推理。

        这样可以利用已有的大量单模态训练数据训练得到的单模态模型，减少对于高质量图文对数据的依赖，并通过特征对齐、指令微调等方式打通两个模态的表征。下图来自其他 up 的概括内容，来自：https://zhuanlan.zhihu.com/p/653902791

        对于CLIP部分公式均参照该链接，仅了解损失函数。

图 基础MLLM的架构整理

1. CLIP

        分别对图像、文本进行特征提取，两部分的backbone可以分别采用Resnet系列模型/VIT系列模型、BERT模型。特征提取后，直接相乘计算余弦相似度，然后采用对比损失（info-nce-loss）。

训练损失

• 交叉熵代价损失（cross entropy）：基础有监督学习分类损失函数。

图 n个类别多分类的交叉熵代价函数

• NCE（noise contrastive estimation）：相比于交叉熵损失，这里将多问题转化为二分类问题，即正样本和噪声样本，目标学习正样本和噪声样本之间的差异。

图 噪声对比