Xmodel-VLM: A Simple Baseline for Multimodal Vision Language Model

本文是LLM系列文章，针对《Xmodel-VLM: A Simple Baseline for Multimodal Vision Language Model》的翻译。

摘要

我们介绍了Xmodel VLM，一种前沿的多模态视觉语言模型。它是为在消费级GPU服务器上高效部署而设计的。我们的工作直接面对一个关键的行业问题，即解决阻碍大规模多模态系统广泛采用的高昂服务成本。通过严格的训练，我们从头开始开发了一个1B级的语言模型，使用LLaVA范式进行模态对齐。结果，我们称之为Xmodel VLM，是一个轻量级但强大的多模态视觉语言模型。对众多经典的多模态基准测试的广泛测试表明，尽管Xmodel VLM的体积更小、执行更快，但其性能与大型模型相当。我们的模型检查点和代码可在GitHub上公开获取，网址为http://GitHub.com/XiaodooAILAB/XmodelVLM。

1 引言

2 相关工作

3 模型架构

4 实验

5 消融研究

6 结论

总之，我们提出了一个高性能的视觉语言模型，该模型通过精心选择视觉编码器、高效的投影仪设计和两阶段训练策略实现。在流行的VLM基准上进行的大量实验证明了其有效性。我们预计，我们的