Exploring the Transferability of Visual Prompting for Multimodal Large Language Models

本文是LLM系列文章，针对《Exploring the Transferability of Visual Prompting for Multimodal
Large Language Models》的翻译。

摘要

尽管多模态大型语言模型（MLLM）已经显示出有前景的多功能性，但它们在下游任务上的性能仍然不如专用模型，这使得有必要进行自适应以提高其效用。然而，微调方法需要对每个模型进行独立训练，从而导致巨大的计算和内存开销。在这篇论文中，我们提出了一种新的设置，我们的目标是通过一组针对下游任务优化的共享参数来提高各种MLLM的性能。为了实现这一目标，我们提出了可转移视觉提示（TVP），这是一种简单有效的生成视觉提示的方法，可以在仅在一个模型上训练后转移到不同的模型并提高其在下游任务上的性能。我们介绍了两种策略来解决现有视觉提示方法的跨模型特征损坏问题，并增强学习提示的可转移性，包括1）特征一致性对齐：对提示的特征变化施加约束，以保持任务无关的知识；2） 任务语义丰富：通过语言指导，鼓励提示的图像包含更丰富的任务特定语义。我们通过6个现代MLLM在从物体识别和计数到多模态推理和幻觉矫正等各种任务上的广泛实验验证了TVP的有效性。

1 引言

2 相关工作

3 方法

4 实验

5 结论

在本文中，我们提出优化一组用于不同MLLM的共享参数，以资源友好和灵活的方式使其适应下游任务，这可以通过特定于模型的微调来避免计算和存储开销。具体来说，我们引入了可转移的视觉提示，通过采用视觉提示作为共享参数，并通过仅对一个模型进行一次性训练来提高其可转移性，从而提高一组模型的性能。由于特征破坏，现有的视觉提示方法通常无法通过满足边缘来增强看