大模型的能力篇

2.1

  “Adaptation”一词是用来指代将语言模型转化为任务模型的过程。这个过程需要一下两个的输入：

1. 任务的自然语言描述。
2. 一组训练实例（输入-输出对）

  主要是有两种方式来进行适应：

1. 训练：标准的有监督的学习。
2. 提示（上下文学习）这个也可以进一步细分为零样本学习（ps；感觉这种就像对模型的一个检测，用来大致确认哪个部分需要优化），单样本学习，少样本学习。

2.1.1

困惑度：

语言模型在昨天的学习中，可以知道是一种对令牌序列的条件概率。那么对于令牌中的文本我们该怎么分配概率呢，比如：i am the best。这时我们会对每一个单词分配概率，此时这一条序列的概率就是他们的联合分布概率了，每一个单词的概率就是在这个条件下的条件概率。可如果，此时的文本是i a