Cross-modal Information Flow in Multimodal Large Language Models

本文是LLM系列文章，针对《Cross-modal Information Flow in Multimodal Large Language Models》的翻译。

摘要

自回归多模态大语言模型（MLLM）的最新进展表明，视觉语言任务取得了有前景的进展。虽然有各种研究调查了大型语言模型中语言信息的处理，但目前对MLLM的内部工作机制以及语言和视觉信息在这些模型中的相互作用知之甚少。在这项研究中，我们的目标是通过检查MLLM中不同模态（语言和视觉）之间的信息流来填补这一空白，重点是视觉问题的回答。具体来说，给定一个图像问题对作为输入，我们研究了模型中的何处以及视觉和语言信息如何结合以生成最终预测。通过使用LLaVA系列中的一系列模型进行实验，我们发现这两种模式的整合过程有两个不同的阶段。在较低的层中，该模型首先将整个图像的更一般的视觉特征转化为（语言）问题表征的表示。在中间层中，它再次将关于与问题相关的特定对象的视觉信息传输到问题的各个表征位置。最后，在较高层，将得到的多模态表示传播到输入序列的最后一个位置，以进行最终预测。总体而言，我们的研究结果为MLLM中图像和语言处理的空间和功能方面提供了一个新的全面视角，从而促进了未来对多模态信息定位和编辑的研究。

1 引言

2 相关