VIGC：自问自答，高质量视觉指令微调数据获取新思路

从今年四月份开始，随着MiniGPT-4, LLaVA,
InstructBLIP等多模态大模型项目的开源，大模型的火从NLP领域烧到了计算机视觉及多模态领域。

多模态大模型需要高质量的图文对话数据进行指令微调，而当前多模态指令微调数据多基于纯文本GPT-4构建，其数据质量及多样性相对受限。为此，我们提出了视觉指令生成及修正模型VIGC，可以基于多模态模型自动生成多样性的指令数据，并基于指令修正模块减少幻觉，保证数据质量。这些指令数据加入模型微调，可以进一步提升模型性能。

VIGC能做什么？

图1. VIGC示例：输入图像，模型自动生成相关问题及对应答案

如图所示，用户提供（1）任意图像；（2）所需数据类型，VIGC可以生成该图像对应的问题和答案。相比于当前图文多模态大模型给定图像和问题，获取对应问题的答案，VIGC可以实现自问自答，而这些问答对本身可以作为高质量的指令微调数据，用于多模态大模型的训练，进一步提升模型性能。

VIGC有什么优势？

要回答这个问题，我们首先看一下当前指令微调数据的获取方案。