如何理解LLM推理时的参数Temperature和Top_k

在使用大型语言模型（LLMs）进行文本生成时，我们经常会遇到 temperature 和 top_k 这两个参数。这两个参数控制着生成文本的随机性和多样性，对于生成结果的质量有着至关重要的影响。本文将深入浅出地解释这两个参数的作用逻辑、不同场景下的调整经验，并延伸解释其他一些常用的推理参数。

1. 概述：LLM的文本生成过程

在深入理解 temperature 和 top_k 之前，我们需要先简单了解一下LLM生成文本的基本过程。

LLM本质上是一个概率模型。给定一个输入文本序列（prompt），LLM会计算下一个词的概率分布。例如，给定输入 “The cat sat on the”，模型可能会预测下一个词是 “mat” 的概率为 0.6，“sofa” 的概率为 0.2，“chair” 的概率为 0.1，等等。

然后，模型会根据这个概率分布进行采样，选择一个词作为输出。这个采样过程就是 temperature 和 top_k 发挥作用的地方。

2. Temperature 参数

2.1 作用逻辑