论文解读《COMMA: Co-articulated Multi-Modal Learning》

系列文章目录

---

---

论文细节理解

1. 这段话中，the vision branch is uni-directionally influenced by the text branch only 什么意思？具体举例一下
   以下是一个具体的例子来说明“视觉分支仅受到文本分支的单向影响”的意思：
   假设我们有一个视觉-语言模型（VLM），用于图像描述生成。模型的结构包括两个分支：视觉分支和文本分支。
   文本分支：输入一段描述，比如“这是一只在草地上奔跑的狗”。
   视觉分支：模型使用文本分支的信息来分析图像，提取出与文本描述相关的视觉特征，比如识别出图中的狗和草地。
   在这种情况下，视觉分支的特征提取完全依赖于文本分支提供的信息。也就是说，视觉分支不会根据自己的特征来影响文本分支的理解或生成。这种单向影响可能导致模型在处理复杂的视觉-语言关系时表现不佳，因为它没有充分利用视觉信息来丰富文本理解。
   如果模型能够实现双向影响，视觉分支也能反过来影响文本分支，比如通过视觉特征来生成更准确的描述，可能会提高整体性能和对未见类别的泛化能力。

1. 研究背景

近年来，随着网络数据的大量增加，尤其是包含大规模图像-文本配对的数据集，促进了视觉语言模型（Vision-Language Models, VLMs）的发展。例如，CLIP（Radford et al., 2021）等模型，因自然语言的监督学习，展现出了卓越的开放领域概念推理能力，能够很好地适应各种下游任务。然而，这类模型也存在以下问题：

• 依赖手工构建的文本提示（prompts）来进行推理。生成的提示需要根据不同的下游任务进行调整，而手工设计的提示既耗时又难以准确反映新任务的特性。
• 在对模型进行微调时，容易遗忘在预训练阶段学到的通用知识，并且在泛化到新类或新域时性能下降。