Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models

本文是LLM系列文章，针对《Groma: Localized Visual Tokenization for Grounding Multimodal Large Language Models》的翻译。

摘要

我们介绍了Groma，一种具有基准和细粒度视觉感知能力的多模态大型语言模型（MLLM）。除了全面的图像理解，Groma还擅长区域级任务，如区域字幕和视觉基础。这些功能建立在本地化的视觉标记化机制之上，在该机制中，图像输入被分解为感兴趣的区域，随后被编码为区域标记。通过将区域标记集成到用户指令和模型响应中，我们无缝地使Groma能够理解用户指定的区域输入，并将其文本输出基于图像。此外，为了增强Groma的基准聊天能力，我们利用强大的GPT-4V和视觉提示技术策划了一个视觉基准指令数据集。与依赖语言模型或外部模块进行本地化的MLLM相比，Groma在标准引用和基础基准测试中始终表现出卓越的性能，突出了将本地化嵌入图像标记化的优势。项目页面：https://groma-mllm.github.io/.

1 引言

2 相关工作

3 方法

4 GPT4V辅助基准对话生成

5 实验

6 局限性和结论

在本文中，我们引入了一种新的范式Groma，以释放MLLM的局部感知能力。我们率先尝试将本地化嵌入到图像标记化中。我们的范式基于一种先感知后理解的心态，这种心态将本地化与高级理解和推理分开。在不引入外部模块的情况下，我们的方法克服了使用LLM作