Visual Prompt Tuning

我们提出视觉提示调整（VPT）来适应大型预先训练的视觉转换器模型。VPT将少量可学习的参数注入transformers的输入空间，并在下游训练阶段保持主干冻结。整体框架如图

（a）为每个变压器-编码器层的输入（VPT-deep）预先设置一组可学习的参数；

（b） 仅将提示参数插入第一层的输入（VPTshallow）。

在下游任务的培训过程中，只有提示和线性头的参数会更新，而整个变压器编码器会被冻结。