How to Bridge the Gap between Modalities: A Comprehensive Survey on Multi-modal Large Language Model

本文是LLM系列文章，针对《How to Bridge the Gap between Modalities: A Comprehensive Survey on Multi-modal Large Language Model》的翻译。

摘要

本文探讨了多模态大型语言模型（MLLMs），它集成了GPT-4等LLM来处理文本和视觉等多模态数据。MLLMs展示了生成图像叙述和回答基于图像的问题等功能，弥合了现实世界人机交互的差距，并暗示了通往通用人工智能的潜在途径。然而，MLLMs在处理多模态语义缺口方面仍然面临挑战，这可能导致错误生成，给社会带来潜在风险。选择合适的模态对齐方法至关重要，因为不合适的方法可能需要更多的参数，性能改进有限。本文旨在探索LLM的模态对齐方法及其现有能力。实施模式调整使LLM能够解决环境问题并提高可访问性。该研究将MLLM中现有的模态对齐方法分为四组：（1）将数据转换为LLM能够理解的多模态转换器；（2） 多模态感知器，以改进LLM感知不同类型数据的方式；（3） 工具帮助利用工具将数据更改为一种通用格式，通常为文本；以及（4）数据驱动方法，教导LLM理解数据集中特定类型的数据。

1 引言

2 概述

3 多模态转换器

4 多模态感知器

5 工具辅助

6 数据驱动MLLMs