prompt-based models

原论文：
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

• 介绍四类prompt-based的模型

  • Tuning-free Prompting
    （1）冻结LM（语言模型）的参数，不进行微调；
    （2）使用promtp，但其不涉及参数训练。
    优点：效率高，没有参数更新过程。因为LM参数保持不变，所以没有灾难性遗忘（LM失去了在微调之前能够做某些事情的能力）。适用于zero-shot settings。
    缺点：由于prompt是提供任务规范（task specification）的唯一方法，所以heavy engineering是实现高精度的必要步骤。特别是在（in-context learning）上下文学习设置中，提供许多已回答的prompt在测试时可能会很慢，因此不能轻易地使用大型训练数据集。

  • Fixed-LM Prompt Tuning
    （1）冻结LM（语言模型）的参数，不进行微调；
    （2）使用promtp，其中涉及参数训练。
    优点：与Tuning-free Prompting类似，它可以在LM中保留知识，并且适用于few-shot场景。通常优于 tuning-free prompting。
    缺点：不适用于zero-shot的场景。虽然在few-shot场景中有效，但在大数据设置中表示能力是有限的。

  • Fixed-prompt LM Tuning
    （1）不冻结LM（语言模型）的参数，进行微调；
    （2）使用promtp，但其不涉及参数训练。
    优点：Prompt或者answer engineering更完全地指定任务，允许更有效的学习，特别是在few-shot的场景中。
    缺点：Prompt或者answer engineering仍然是需要的，尽管可能不如没有prompt那么多。对一个下游任务进行微调的LM可能对另一个下游任务无效。

  • Prompt+LM Tuning
    （1）不冻结LM（语言模型）的参数，进行微调；
    （2）使用promtp，其中涉及参数训练。
    优点：这是最具表现力的方法，可能适合于high-data settings。
    缺点：需要训练和存储模型的所有参数。可能会在小数据集上出现过拟合。