InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning

发表时间：15 Jun 2023

论文链接：https://arxiv.org/pdf/2305.06500

作者单位：Salesforce Research

Motivation：大规模预训练和指令调整已经成功地创建了具有广泛能力的通用语言模型。然而，由于额外的视觉输入导致的丰富输入分布和任务多样性，构建通用视觉语言模型具有挑战性。

解决方法：为了确保指令微调数据的多样性，作者收集了来自11种不同任务的26个数据集，并将它们转换为指令调优格式。

实现方式：模型结构基本与BLIP2一致，Q-Former和LLM的输入多了Instruction（instructBLIP将Q-former中的Image Caption换为了Instruction使得Q-former可以感知到指令的信息）。

Architecture. 使用了和BLIP-2 相同的图像编码(VIT-g/14)，但是不同的LLMs, 使用了FlanT5- XL (3B), FlanT5-XXL (11B), Vicuna-7B and Vicuna-13B.

训练过程：

• 先冻结