LLM推理中的参数：beam_search、num_sequences、do_sample、temperature、top_k、top_p、repetition_penalty

原文：

https://huggingface.co/blog/how-to-generate

beam_search：动态规划每个step保留几个top解；

num_sequences: generate输出几个top序列。num_sequences<=beam_search。

do_sample: 设为True，则每个输出都进行采样；设为False，则每个输出都greedy取top。

temperature: GPT4取值范围是0~2。越大，所有token被采样的概率越接近；越小，采样概率拉的越开。设为0时，greedy取top1。

如下公式，在softmax这里有改动，t就是temperature，实际可以取>0的任何值，只是一般都取1附近，0.5~2之间。

top_k: 每一步，只从概率最高的K个token里采样。设为0则disable该机制（无top_p的话，则所有token都参与采样）。

top_p: 取值范围0~1。每一步，只从按概率从高到底排序的tokens，前面累加概率达到p的这些词，参与采样。

repetition_penalty：如果一个