神经网络微调技术全解（04）-- Prompt Tuning-可训练提示（Learnable Prompts）

“可训练提示”（Learnable Prompts）是Prompt Tuning中的一个关键概念。与手动设计的固定文本提示不同，可训练提示指的是一种自动化的、基于学习的提示优化方法。这种提示不再是简单的静态文本，而是通过训练模型来学习的一组向量表示，用以引导模型在特定任务上的输出。

可训练提示的核心思想

1. 向量表示：
   • 在可训练提示中，提示不再是直接的文本，而是一组向量（通常与模型的输入嵌入有相同的维度）。这些向量可以被视为提示的连续表示。
   • 这些向量会与输入文本的嵌入表示结合在一起，以引导模型的行为。
2. 学习过程：
   • 可训练提示是通过训练来获得的。它们的初始化可能是随机的，也可以基于某些策略进行初始化。
   • 通过反向传播算法，提示向量会在训练过程中根据任务的需求进行优化，从而使得这些提示更适合特定的任务。
3. 作用方式：
   • 可训练提示通常被附加到输入文本的前面（或者根据需求也可以放在后面或中间）。这些提示向量与输入文本一起传递给模型。
   • 由于提示向量是模型的一部分，它们在训练过程中会随着损失函数的优化而被调整，以最大化模型在特定任务上的表现