提示学习中常见的Prompt方法 硬模板方法 1. PET(Pattern Exploiting Training) 2. LM-BFF 软模板方法 1. P-tuning 2. Prefix tuning 3. Soft Prompt Tuning 总结 参考资料 提示学习中常见的Prompt方法可以大概分为硬模板方法和软模板方法。 硬模板方法 主要介绍PET方法和LM-BFF方法。 1. PET(Pattern Exploiting Training) 硬模板-PET(Pattern Exploiting Training)，它是一种较为经典的提示学习方法，即将问题建模成一个完形填空问题，然后优化最终的输出词。虽然 PET 也是在优化整个模型的参数，但是相比于传统的 Fine-tuning 方法，对数据量需求更少。建模方式如下（以往模型只要对 P ( l ∣ x ) P(l|x) P(l∣
超级会员免费看
本文介绍了提示学习中的硬模板方法，包括PET(Pattern Exploiting Training)和LM-BFF，以及软模板方法如P-tuning、Prefix tuning和Soft Prompt Tuning。PET通过完形填空形式帮助模型理解任务，而LM-BFF利用模型生成模板。软模板方法如P-tuning优化Prompt Token Embedding，Prefix tuning和Soft Prompt Tuning则提供更灵活的优化策略，降低资源消耗。
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
2万+
