What matters when building vision-language models?

本文是LLM系列文章，针对《What matters when building vision-language models?》的翻译。

摘要

大型语言模型和视觉transformer的改进推动了人们对视觉语言模型（VLM）日益增长的兴趣。尽管有大量关于这一主题的文献，但我们观察到，关于VLM设计的关键决策往往是不合理的。我们认为，这些未经支持的决策阻碍了该领域的进展，因为它们很难确定哪些选择可以提高模型性能。为了解决这个问题，我们围绕预训练的模型、架构选择、数据和训练方法进行了广泛的实验。我们对研究结果的整合包括Idefics2的开发，这是一种具有80亿个参数的高效基础VLM。Idefics2在各种多模态基准测试中实现了其大小类别中最先进的性能，并且通常与四倍于其大小的模型不相上下。我们发布了模型（基础、指导和聊天）以及为其训练创建的数据集。

1 引言

2 术语

3 探索视觉语言模型的设计空间

4 Idefics2-一个开放的最先进的视觉语言基础模型

5 结论

在这项工作中，我们重新审视了VLM文献中的常见选择，并在对照实验中严格比较了这些选择。我们的研究结果涉及不同架构的有效性、它们的性能/推理成本权衡以及训练稳定性。有了这些知识，我们就可以训练Idefics2，一个开放的8B参数视觉语言模型。Idefics2在其类别大小的各种基准测试中都是最先进的，并且在推理方面