xGen-MM (BLIP-3): A Family of Open Large Multimodal Models

本文是LLM系列文章，针对《xGen-MM (BLIP-3): A Family of Open Large Multimodal Models》的翻译。

摘要

本报告介绍了xGen-MM（也称为BLIP-3），这是一个用于开发大型多模态模型（LMM）的框架。该框架由精心策划的数据集、训练配方、模型架构和由此产生的LMM套件组成。xGen-MM是xGen-MultiModal的缩写，它在基础AI模型上扩展了Salesforce的xGen计划。我们的模型经过一系列任务的严格评估，包括单图像和多图像基准测试。我们的预训练基础模型表现出强大的上下文学习能力，而指令调优模型在具有相似模型大小的开源LMM中表现出了具有竞争力的性能。此外，我们引入了一个带有DPO的安全调整模型，旨在减轻幻觉等有害行为并提高安全性。我们开源了我们的模型、精心策划的大规模数据集和我们的微调代码库，以促进LMM研究的进一步发展。相关资源将在我们上面的项目页面上提供。

1 引言

2 相关工作

3 模型架构

4 训练

5 数据

6 实验

7 消融研究

8 结论

我们介绍了xGen-MM（BLIP-3），这是一个综合框架，用于在精心策划的大规模数据集混合上训练一