MaPLe: Multi-modal Prompt Learning

最新推荐文章于 2025-06-01 17:05:16 发布

UnknownBody

最新推荐文章于 2025-06-01 17:05:16 发布

阅读量670

点赞数

CC 4.0 BY-SA版权

文章标签：人工智能语言模型自然语言处理

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/132194132

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

MaPLe是针对多模态大语言模型的研究，旨在提高视觉和语言表示的一致性。它通过在视觉和语言分支上同时进行提示学习，促进强耦合和协同作用，以增强下游任务的泛化能力。实验表明，MaPLe在11个图像识别数据集上优于现有方法，特别是在新类别和跨领域任务中展现出优越性能。

本文也是LLM系统的文章，主要是面向多模态的大语言模型，针对《MaPLe: Multi-modal Prompt Learning》的翻译。

摘要

CLIP等预先训练的视觉语言（V-L）模型对下游任务表现出了出色的泛化能力。但是，它们对输入文本提示的选择很敏感，需要仔细选择提示模板才能执行良好的操作。受自然语言处理（NLP）文献的启发，最近的CLIP自适应方法学习提示作为文本输入，以微调CLIP用于下游任务。我们注意到，在CLIP的单个分支（语言或视觉）中使用提示来调整表示是次优的，因为它不允许在下游任务上动态调整两个表示空间的灵活性。在这项工作中，我们提出了视觉和语言分支的多模式提示学习（MaPLe），以提高视觉和语言表征之间的一致性。我们的设计促进了视觉语言提示之间的强耦合，以确保相互协同，并阻止学习独立的单一模式解决方案。此外，我们在不同的早期阶段学习不同的提示，以逐步建立阶段特征关系的模型，从而实现丰富的上下文学习。我们评估了我们的方法在三个代表性任务上的有效性，即对新类的泛化、新的目标数据集和看不见的领域迁移。与最先进的方法CoCoOp相比，MaPLe表现出良好的性能，在11个不同的图像识别数据集上平均，在新类别上实现了3.45%的绝对增益，在总体谐波平均值上实现了2.72%的绝对增益。我们的代码和预训练模型可在https://github.com/muzairkhattak/multimodalprompt-learning找到.