LLaVA多模态大模型环境搭建

目录

1 背景

2 应用

3 Demo

3.1 环境准备

3.2 运行

3.3 Demo展示

3.3.1 以文本为基础的任务

3.3.2 以图像为基础的任务

---

1 背景

LLaVA（Large Language and Vision Assistant）是一个由威斯康星大学麦迪逊分校、微软研究院和哥伦比亚大学研究者共同发布的多模态大模型。它是一个端到端训练的大型多模型，结合了视觉编码器和 Vicuna，用于通用的视觉和语言理解。它通过使用机器生成的指令遵循数据对大型语言模型进行指令调整，以提高新任务的零射击能力。它在语言领域取得了很大的进展，但在多模态领域却鲜有探索。

LLaVA 的早期实验表明，它展示出令人印象深刻的多模型聊天能力，有时会表现出多模型 GPT-4 在未见过的图像/指令上的行为，并在合成多模型指令遵循数据集上获得与 GPT-4 相比 85.1% 的相对分数。当在科学问答上微调时，LLaVA 和 GPT-4 的协同作用实现了新的最高准确率 92.53%。总之，LLaVA 的主要功能和特点是通过使用机器生成的指令遵循数据对大型语言模型进行指令调整，以提高新任务的零射击能力，并在多模态领域展示出令人印象深刻的聊天能力。

2 应用

LLaVA 可以应用于多种场景，包括：