MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models_long context transfer from language to vision-优快云博客

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/133901306

大规模语言模型能通过上下文学习适应新任务，但视觉语言模型（VL）通常不具备此能力。本文提出MetaVL，研究将语言模型的上下文学习能力转移至VL的可行性。经过元训练，VL模型在VQA等任务上的小样本学习表现提升，且参数量减少约20倍。然而，方法在VQA任务的适用性和大型语言模型的效果仍有待进一步验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文是LLM系列文章，针对《MetaVL: Transferring In-Context Learning Ability From Language Models to Vision-Language Models》的翻译。

摘要

大规模的语言模型已经显示出通过一些演示（即上下文学习）来适应新任务的能力。大规模的语言模型已经显示出通过一些演示（即上下文学习）来适应新任务的能力。然而，在视觉语言领域，大多数大规模的预训练视觉语言（VL）模型不具备进行上下文学习的能力。我们如何实现VL模型的上下文学习？在本文中，我们研究了一个有趣的假设：我们可以将上下文学习能力从语言领域转移到VL领域吗？具体来说，我们首先对语言模型进行元训练，以在NLP任务上执行上下文学习（如在MetaICL中）；然后我们通过附加视觉编码器来转移该模型以执行VL任务。我们的实验表明，在上下文中的学习能力确实可以跨模态转移：我们的模型显著提高了VL任务的上下文中学习能力，甚至可以显著补偿模型的大小。在VQA、OK-VQA和GQA上，我们的方法可以优于基线模型，同时参数减少~20倍。