LuvLive的博客

V-L预训练模型包括文本和视觉两个子分支，现有的提示学习方法主要分为提示学习和提示学习。最近的文本提示学习方法通过设计包含文本和图像领域知识的，取得了良好的性能。然而，由于语义融合的粒度不同，在每个文本提示token中不加区别地添加全局图像信息会导致。鉴于此，我们提出了一种fine-grained text prompt (FTP)，它将图像的整体信息分解成更细粒度的语义，并将它们合并到相应的tokens中。另一方面，目前的视觉提示学习往往是基于随机初始化或基于图像条件的，忽略了文本的语义信息。我们。

Multimodality Helps Unimodality:Cross-Modal Few-Shot Learning with Multimodal Models

DePT: Decoupled Prompt Tuning

论文信息：arxiv:Motivation像 CLIP 这样的预训练视觉语言模型的在学习可迁移视觉表征方面的巨大潜力。但对于下游任务，CLIP 模型在通过进行推理时，会出现以下问题：1、在基于检索的推理过程中，如果文本描述不准确，准确性和鲁棒性会下降（对文本描述敏感）：这种敏感性可以通过修改类名来观察，比如对于 CIFAR-10 上的 zero-shot 推理，当使用原始类名时，CLIP 获得了 63.7% 的准确率。

MaPLe: Multi-modal Prompt Learning

Patch-Mix Transformer for Unsupervised Domain Adaptation: A GamePerspective

Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models

Conditional Prompt Learning for Vision-Language Models

Learning to Prompt for Vision-Language Models

Decorate the Newcomers: Visual Domain Prompt for Continual Test Time Adaptation

Domain Adaptation via Prompt Learning