大模型微调--文章3

 原文地址

链接：https://zhuanlan.zhihu.com/p/635848732

思考题

问题1：P-Tuning为了解决什么问题？（解决）

答案：主要是为了解决：大模型的Prompt构造方式严重影响下游任务的效果。

比如：GPT-3采用人工构造的模版来做上下文学习（in context learning），但人工设计的模版的变化特别敏感，加一个词或者少一个词，或者变动位置都会造成比较大的变化。

问题2：什么是NLU任务？（解决）

答案：自然语言理解，是自然语言处理（NLP）中的一个重要子领域，涉及理解和处理人类语言的语义和语法，以便机器能够从文本中提取有意义的信息。NLU任务通常涉及对文本的深层次理解，包括解析句子结构、理解上下文、推理隐含意义。

问题3：什么是P-tuning？与Prefix Tuning有什么区别？（解决）

答案：Prefix Tuning是在每一层中插入可学习的前缀嵌入序列，而不是直接影响输入，在Transformer每一层都添加前缀；

P-Tuning是在输入层中插入可学习的提示词（软提示），优化这些提示词以提高任务性能，仅在输入层进行更改，在其他层没有操作。

问题4：P-tuning v2的原理是怎么样的？（解决）

答案：P-tuning v2不仅仅在输入层添加软提示，还可以在模型的多个中间层或特定层添加这些提示。这种多层次的提示优化使得模型能够更好地捕捉复杂的语义信息。

问题5：Prompt-Tuning、Prefix Tuning、P-Tuning和P-Tuning2有什么区别和联系？（解决）

答案：P-Tuning可以看作是Prompt-Tuning的发展；P-Tuning2可以看作是Prefix Tuning的发展

问题6：文章主要讲了什么内容？文章结构是什么样的？（解决）

答案：文章主要讲了P-Tuning和P-Tuning是什么，以及原理是什么，和前一篇的对比。结构上也是这样的。