MiniGPT-v2：大型语言模型作为视觉语言多任务学习的统一接口

一、模型介绍

一个统一的界面可完成许多视觉语言任务，包括图像描述、视觉问答和视觉基础等。模型引入了 MiniGPT-v2，一个模型可以被视为一个统一的界面，以更好地处理各种视觉语言任务。在训练模型时对不同的任务使用唯一的标识符。这些标识符使模型能够毫不费力地区分每个任务指令，并提高每个任务的模型学习效率。经过三阶段训练，实验结果表明，与其他视觉语言通用模型相比，MiniGPT-v2 在许多视觉问答和视觉基础基准上取得了强劲的表现。

二、容器构建

1. 克隆及环境准备

• 克隆

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4

• 创建虚拟环境

conda env create -f environment.yml
conda activate minigptv

2. 准备预训练的 LLM 权重

MiniGPT-v2 基于 Llama2 Chat 7B。

模型下载地址：https://www.modelscope.cn/models/shakechen/Llama-2-7b-chat-hf

或者运行以下代码：

git lfs install