【多模态大模型】 BLIP-2 in ICML 2023

一、引言

论文： BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
作者： Salesforce Research
代码： BLIP-2
特点： 该方法分别使用冻结的图像编码器（ViT-L/14、 ViT-g/14）和大语言模型（OPT、FlanT5）进行图像特征提取和文本特征提取与生成；提出Q-Former连接图像编码器和大语言模型；提出两阶段预训练策略分别提升模型特征学习和视觉到语言的生成学习能力。

⚠️ 在学习该方法前，建议补充ViT、BERT、ALBEF、BLIP的相关知识。

二、详情

BLIP-2的整体结构图如下：

可见，它的图像编码器和大语言模型都是冻结的，作为一种预训练方法Q-Former起着至关重要的作用。左右两边则分别是预训练的两个阶段，第一个阶段致力于提升模型表征学习能力使查询token与文本token能够对齐并提取出与文本最相关的视觉特征，第二个阶段致力于提升模型视觉到语言的生成学习能力，使查询token能够被大语言模型理解。

2.1 Q-Former

Q-Former的整体结构图如下：

可见，它包括两个N层的transformer结构（N=12），分别为图像transformer和文本transformer。

• 图像transformer和文本transformer的自注意力和FFN都由BERT