超级会员免费看
本文探讨了视觉提示（Visual Prompt）在适应大规模模型中的作用，提出VPT（Visual Prompt Tuning）方法，它在不改变预训练模型参数的情况下，只需更新特定任务的提示和线性头参数，减少了计算量。实验表明，VPT在24个视觉识别任务中有20个任务上优于全面微调。此外，文章还探索了在计算机视觉中使用视觉提示的可能性，以证实其在某些任务和数据集上的有效性。
始于NLP
简单来讲，Prompt就是对原来的输入文本进行一定的处理，使得在不改变预训练模型参数的情况下，相应任务的性能变高。例如，原输入文本为：I received the offer from ETH. ，对于文本分类，我们将其修改为I received the offer form ETH, I’m so [MASK]；[MASK]可以为一些表示情绪的词，比如happy，那么相对于原文，修改后的句子更容易被分为happy类。如果将其改为I received the offer from ETH. Chinese:[MASK]，则对于翻译任务来讲，更容易取得正确的翻译效果。所谓的修改方式在大佬论文中提到的有（如下图）：
NLP中的Prompt算法步骤：
Prompt Addition
订阅专栏 解锁全文
扫一扫
1654
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
