m0_60231311的博客

通过提示，大规模预训练模型变得更具表现力和强大，近年来引起了人们的极大关注。虽然这些大型模型具有zero-shot能力，但一般来说，仍然需要标记数据来使它们适应下游任务。为了克服这一关键限制，我们提出了一个无监督微调框架，直接对模型进行微调或对未标记的目标数据进行提示。演示了如何通过对齐从提示和目标数据中提取的离散分布来将本文方法应用于语言增强视觉和掩码语言模型。为了验证我们的方法的适用性，我们在图像分类、情感分析和自然语言推理任务上进行了大量的实验。

为了清楚起见，我们区分了两种不同的提示。第一个是提示LLM生成数据集类别描述的提示。这些提示不是描述一个对象，而是提示对一个对象的描述(例如，“鸭嘴兽长什么样?”)。我们将这些称为“LLM提示”。其次，在zero-shot图像分类模型中，有需要与图像匹配的提示。这些提示描述了一个类别(例如，“鸭嘴兽看起来像……”)。我们称之为“图像提示”。在CuPL中，这些是LLM的输出，如图2所示。图2。使用实例CuPL LLM-prompts和Image-prompts。

提示学习已经成为使视觉语言基础模型适应下游任务的一种流行策略。随着大型语言模型(llm)的出现，最近的研究探索了使用与类别相关的描述作为输入来提高提示有效性。然而，传统的描述缺乏有效地表示与特定类别相关联的实体或属性之间的相互联系的结构化信息。为了解决这一限制并优先利用结构化知识，本文提倡利用llm为每个描述构建一个图，以建模描述类别的实体和属性，以及它们之间的相关性。先前存在的提示调优方法在管理这种结构化知识方面表现出不足。

随着像CLIP这样强大的预训练视觉语言模型的兴起，研究如何使这些模型适应下游数据集变得至关重要。最近提出的一种名为上下文优化(CoOp)的方法将提示学习(nlp的最新趋势)的概念引入视觉领域，以适应预训练的视觉语言模型。具体来说，CoOp将提示中的上下文单词转换为一组可学习的向量，并且仅使用少量标记的图像进行学习，可以实现比密集调整的手动提示的巨大改进。在我们的研究中发现了CoOp的一个关键问题:学习到的上下文不能推广到同一数据集中更广泛的未见类，这表明CoOp过拟合了训练期间观察到的基本类。

最近的CLIP适应方法学习提示作为文本输入，以微调下游任务的CLIP。使用提示来适应CLIP(语言或视觉)的单个分支中的表示是次优的，因为它不允许在下游任务上动态调整两个表示空间的灵活性。在这项工作中，我们提出了针对视觉和语言分支的多模态提示学习(MaPLe)，以改善视觉和语言表征之间的一致性。促进了视觉语言提示之间的强耦合，以确保相互协同，并阻止学习独立的单模态解决方案。此外，在不同的早期阶段学习单独的提示，逐步对阶段特征关系建模，以允许丰富的上下文学习。

领域泛化(DG)是一个复杂的迁移学习问题，旨在学习未知领域的可泛化模型。最近的基础模型(FMs)对许多分布变化都具有鲁棒性，因此，应该从本质上提高DG的性能。在这项工作中，我们研究了采用视觉语言基础模型CLIP来解决图像分类中的DG问题的通用方法。虽然ERM使用标准DG基准极大地提高了更大的主干和训练数据集的准确性，但在许多实际情况下，微调fm是不切实际的。我们提出了DPL(领域提示学习)作为一种以条件提示生成形式进行领域推理的新方法。

无监督域自适应(UDA)是一种非常有效的方法，可以将具有标记数据的源域知识转移到具有未标记数据的目标域。由于目标域中缺乏标记数据以及可能存在未知类，开放集域适应(open-set domain adaptation, ODA)已成为在训练阶段识别这些类的潜在解决方案。虽然现有的ODA方法旨在解决源域和目标域之间的分布变化，但大多数方法在源域上对ImageNet预训练模型进行微调，并在目标域上进行自适应。

首先使用Meta-Net在每个transformer编码器层生成特定于示例的提示令牌。最后，类令牌、输入上下文令牌和提示令牌作为输入连接到冻结的transformer层。在下游分类任务的训练中，只更mate网和线性头部的参数，而整个transformer编码器保持冻结状态。图2显示了所提出模型的具体架构。给定一个预训练的ViT模型，在嵌入层后的输入空间中引入M个维数为d的连续嵌入，即提示符。如上所述，提出的IVP算法试图学习实例感知的视觉提示，以微调预训练的RS模型，以更好地进行下游任务迁移。

当前的UDA方法通过对齐源和目标特征空间来学习域不变特征。这种对齐是由诸如统计差异最小化或对抗性训练等约束施加的。然而，这些约束可能导致语义特征结构的扭曲和类可辨别性的丧失。在本文中，引入了一种新的UDA提示学习范式，即通过提示学习进行领域适应(DAPL)。使用了预训练的视觉语言模型，并且只优化了很少的参数。主要思想是将领域信息嵌入到提示中，这是一种由自然语言生成的表示形式，然后用于执行分类。该域信息仅由来自同一域的图像共享，从而根据每个域动态调整分类器。