Chameleon：混合模态早期融合基础模型

我们推出了Chameleon，这是一个基于早期融合标记的混合模态模型家族，能够理解和生成任意序列的图像和文本。我们从初始阶段就制定了一种稳定的训练方法、一种对齐方案，以及一种专为早期融合、基于标记的混合模态设置量身定制的架构参数化方法。这些模型在广泛的任务上进行了评估，包括视觉问答、图像描述、文本生成、图像生成以及长篇混合模态生成。Chameleon展示了广泛而通用的能力，包括在图像描述任务中达到最先进的性能，在纯文本任务中超越Llama-2，同时与Mixtral 8x7B和Gemini-Pro等模型竞争，并在单一模型中实现了非平凡的图像生成。根据人类对新的长篇混合模态生成评估的判断，它还匹配或超越了包括Gemini Pro和GPT-4V在内的更大模型的性能，其中提示或输出包含图像和文本的混合序列。Chameleon标志着在完整多模态文档的统一建模方面迈出了重要的一步。

1 引言

最近的多模态基础模型被广泛采用，但仍然分别建模不同的模态，通常使用特定模态的编码器或解码器。这可能会限制它们跨模态整合信息的能力，并生成包含任意图像和文本序列的多模态文档。在本文中，我们提出了Chameleon，这是一个混合模态基础模型家族，能够生成和推理任意交错排列的文本和图像内容的混合序列（图2-4）。这使得完整的多模态文档建模成为可能，这是对标准多模态任务（如图像生成、图像理解和推理以及纯文本LLM）的直接推广。Chameleo