SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models

本文是LLM系列文章，针对《SPHINX-X: Scaling Data and Parameters for a Family of Multi-modal Large Language Models》的翻译。

摘要

我们提出了SPHINX-X，这是在SPHINX基础上发展起来的一个广泛的多模态大语言模型（MLLM）系列。为了提高体系结构和训练效率，我们修改了SPHINX框架，删除了冗余的视觉编码器，绕过了带有跳过标记的完全填充的子图像，并将多阶段训练简化为一阶段一体模式。为了充分释放MLLMs的潜力，我们组装了一个全面的多领域和多模态数据集，涵盖语言、视觉和视觉语言任务中的公共资源。我们通过精心策划的OCR密集型和标记集数据集进一步丰富了这一系列，扩展了多样性和通用性。通过在不同的基础LLM上进行训练，包括TinyLlama1.1B、InternetLM2-7B、LLaMA2-13B和Mixtral8×7B，我们获得了一系列参数大小和多语言能力不同的MLM。综合基准测试揭示了多模态性能与数据和参数尺度之间的强相关性。代码和模型发布于https://github.com/Alpha-VLLM/LLaMA2-Accessory.

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们介绍了SPHINX-X，这是一系列用于多用途多模态指令调整的MLLM，LLM参数范围从1B到8×7B。在最初的SPHINX的基础上，我们提出了三个方面的改进，即去除冗余的视觉编码器，绕过带有跳过标记的完整添加的子