《LAMM: Label Alignment for Multi-Modal Prompt Learning》学习

系列文章目录

---

---

LAMM: Label Alignment for Multi-Modal Prompt Learning学习

1、论文细节理解

1. VL模型和下游任务之间的类标签表示的差距啥意思？
   在视觉语言（VL）模型和下游任务之间的“类标签表示的差距”指的是预训练的视觉语言模型（如CLIP）和下游任务（如具体的图像分类任务）在类别标签的表示方式上存在不同。这些差异可能会影响模型在迁移到下游任务时的性能。
   具体来说，预训练的VL模型通常使用特定的方式来表示类标签，例如通过文本描述或特定的词嵌入（word embeddings）。而在下游任务中，类别标签的表示方式可能与VL模型中使用的表示方式不同，可能导致模型无法很好地理解或利用这些标签进行分类或识别。这种表示方式的差距就会影响到模型在下游任务中的表现。
   为了解决这一问题，LAMM 方法提出了通过端到端训练动态调整类别嵌入（即类标签的表示）的方式，使得这些类别标签的表示方式能够更好地适应下游任务的需求，从而弥合预训练VL模型与下游任务之间的差距。这种调整可以帮助模型更好地理解和处理下游任务中的类别标签，提高任务的性能。
2. “构建模板的过程通过梯度下降而不是手动构建进一步自动化”的意思是
   提示学习（prompt learning）方法中的模板设计不再依赖人工来手动创建，而是通过训练过程中的梯度下降算法自动优化和生成。传统上，提示模板可能需要人工设计，例如在自然语言处理中，为了让模型理解某个任务，可能需要人类专家设计特定的句子结构或关键词来引导模型。这个过程既费时又依赖于人的经验。
   然而，随着提示学习的进展，现在可以通过训练一个具有少量特定任务参数的模板，并使用梯度下降算法来自动调整这些参数，从而生成适合特定任务的提示模板。这种自动化的过程意味着模型能够自主学习如何最好地生成适合下游任务的提示，而不需要人工介入。这种方法大大提高了效率，并且通常可以比手动设计的模板表现得更好。简单来说，这句话的意思是，通过使用梯度下降优化算法，提示模板的生成和优化过程得到了自动化，从而减少了手动设计的需求。
   在这里为了对这句话为了加深理解，下载了文章的引用论文，进行阅读。
3. 灾难性遗忘问题。
   谈论神经网络"时，从脑神经科学的角度去理解是最容易的，有调查显示，中国人对于初中知识的遗忘率是比较高的。原因就是我们的基础教育可能过于机械，导致我们在工作以后与原有知识的连接不够，让初中知识成为了信息孤岛，最终导致了对初中知识的彻底性遗忘。所谓的灾难性遗忘，是与正常人脑的渐进式遗忘相对的造忘方式。渐进式过忘一般被叫做遗忘曲线。我们不断寻找学习方法，就是对遗忘曲线对抗的过程，一般来说，正常健康的人脑，是不会出现突然忘记一大堆东西，然后不仅再也想不起来，而且就算是重新记忆和学习也会遭遇因难的情况的。正常大脑的记忆循序渐进，遗忘也是循序渐进的，而灾难性造忘，则比较类似于失忆症+患者的状况。他们突然遭受重大打击，导致大脑信息出现过载，最后导致了部分或者全部记忆的缺失。人类之所以不会经常出现灾难性过忘事件，可能是因为我们很少有机会让大脑过载，而在机器学习的过程中，灾难性过忘是比较常见的，灾难性迪忘一般会出现在连续的大负荷的机器学习过程中。当一个神经网络模型被训练用来完成多个不同任务时，它们往往就会在学习新任务时把之前学习过的任务彻底遗忘，由于神经网络与大脑类似，