大模型中常见的名词：token、temperature、top-p、top-k

1. Token

• 定义: 在自然语言处理(NLP)中，Token 是将文本数据分割成更小单位的过程，称为“分词”，每个小单位称为一个 token。
• 示例:
  • 词级分词：对于句子“Hello, world!”，可能会被分割成两个 token：“Hello” 和 “world”。
  • 字符级分词：对于相同的句子，可能会被分割成“H”, “e”, “l”, “l”, “o”, “,”, “ ”, “w”, “o”, “r”, “l”, “d”, “!”。
• 重要性: 在大多数 NLP 模型中，token 是输入和输出的基本单位。模型在训练和推理过程中，处理的对象往往是 token 的序列，而不是直接的文本字符串。

2. Temperature

• 定义: Temperature 是在生成式模型（如GPT）中用来控制采样过程的参数。它调整模型输出的概率分布的“平滑度”。
• 原理: 具体来说，temperature 是用来调节 softmax 函数的分布。在生成过程中，temperature 越高，模型的输出越随机；temperature 越低，模型的输出越确定。
• 数值范围:
  • temperature = 1.0 是默认值，表示没有任何调节。
  • temperature > 1.0 会使生成结果更加多样化，但也可能导致生成的文本不连贯。
  • tempe