本文介绍了论文《Prompt-free and Efficient Language Model Fine-Tuning》的内容，提出了一种名为PERFECT的方法，该方法在无需手工模板的情况下，实现了语言模型的高效微调，降低了内存和存储需求，且在多个NLP任务中取得与SOTA相当的性能。PERFECT通过适配层替代手工提示，并使用多标记标签向量学习，解决了传统提示学习的模板设计和自回归预测的效率问题。
©原创作者 | 苏菲
论文题目：
Prompt-free and Efficient Language Model Fine-Tuning
论文作者：
Rabeeh Karimi Mahabadi
论文地址：
https://openreview.net/pdf?id=6o5ZEtqP2g
提示学习（Prompt-learning）被誉为自然语言处理的“第 4 种范式”，它可以在少样本甚至零样本的条件下，通过将下游任务修改为语言生成任务来获得相对较好的模型。
但是，传统的提示学习需要针对下游任务手工设计模板，而且采用自回归的训练预测方法非常耗时。本文提出的PERFECT方法，无需手工设计特定模板，大大降低内存和存储消耗（分别降低了5个百分点和100个百分点）。
在12个NLP任务中，这种微调方法（PERFECT）在简单高效的同时，取得了与SOTA方法（如PET提示学习模型）相近甚至更高的结果。
论文的创新之处在于：
（1）使用特定任务适配器替代手工制作任务提示，提高了微调的采样效率且降低内存及存储消耗；
（2）使用不依赖于模型词汇集的多标记标签向量学习，替代手工编制的语言生成器，可以避免复杂的自回归解码过程。
01 背景介绍
论文作者首先介绍了少样本语言模型微
最低0.47元/天 解锁文章
扫一扫
9746
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
