ChatGPT通用小知识

ChatGPT3.5参数模型

max_tokens：用于控制生成文本的最大长度（以令牌数为单位）。对于生成的文本长度有严格限制的任务（如推荐系统中的短文本生成），可以设置较小的max_tokens值，以确保生成的文本符合预期的长度限制。而对于需要生成较长的文本（如文章生成），则可以增加max_tokens值以获得更多的生成文本。默认值为2048，设置范围为1到4096之间的整数。

temperature：控制生成文本的多样性。较高的 Temperature 值会导致生成的文本更具有创造性和多样性，但是也可能会导致生成的文本不够准确和不可信。较低的 Temperature 值则会导致生成的文本更加保守和保险，但是可能会过于死板和缺乏新意。因此，在设置 Temperature 值时需要权衡准确性和多样性之间的平衡。（Temperature通常用于生成有趣、创意性的文本。）默认值为1，设置范围为0到2之间的浮点数。

top_p：控制生成文本的多样性和保真度。Top_p 会根据生成文本的概率分布，只保留前面概率之和达到一定阈值的词语，然后再从中随机选择一个词语作为下一个生成的词语。较高的 Top_p 值会导致生成的文本更具有多样性，但是会牺牲一定的准确性和保真度。较低的 Top_p 值则会导致生成的文本更加保险和准确，但是可能会过于死板和缺乏新意。在设置 Top_p 值时，需要根据生成文本的任务类型和需求进行权衡。（Top_p通常用于生成技术文档、科学论文等需要准确性的文本。）默认值为1，设置范围为0到1之间的浮点数。

presence_penalty：控制文本同一词汇重复情况。当此参数值大于0时，将鼓励模型生成不同的单词，并尽可能避免使用已经在之前生成的文本中出现过的单词。如果presence_penalty值越大，生成的文本中不同单词的数量可能越多。如果presence_penalty值为0，则不会考虑之前生成的单词，并且每次生成的单词概率分布都是相同的。 例如，在文本生成任务中，如果需要鼓励生成不同的单词，并且避免使用相同的单词，可以增大presence_penalty的值；默认值为0，设置范围为-2.0 和 2.0

frequency_penalty：控制文本罕见词汇出现情况。当此参数值大于0时，将抑制模型生成频繁出现的单词，并鼓励生成罕见的单词。如果frequency_penalty值越大，生成的文本中罕见单词的数量可能越多。如果frequency_penalty值为0，则不会考虑单词的频率，并且每次生成的单词概率分布都是相同的。 如果需要鼓励生成罕见的单词，可以增大frequency_penalty的值。默认值为0，设置范围为-2.0 和 2.0。

n：这个参数可以用于控制生成文本的连贯性和自然程度。指定使用n-gram模型进行文本生成的n的值。当n的值较小时，生成的文本会更加流畅和自然，但是可能会出现过多的复制文本。当n的值较大时，生成的文本会更加接近原始文本，但可能会出现矛盾或不连贯的情况。默认值为1，设置范围为1到5之间的整数。

stream：用于控制生成文本的输出方式。如果将stream参数设置为True，则文本将以流的方式输出，即在生成文本的同时输出文本，而不是等待文本生成完成后再输出。这个参数适用于需要及时输出文本的场景。默认值为False，设置范围为True或False。

stop: 用于停止生成并返回结果。这个参数可以是单词或短语列表，当模型生成包含这些单词/短语的文本时，它将。这通常用于在生成过程中控制输出内容。用户可以自定义 "stop"参数, 具体应用能够节省比返回文本之后对结果进行筛选所需的时间更长时间和资源。

logit_bias: 接受一个 json 对象，该对象将标记（由标记器中的标记 ID 指定）映射到从 -100 到 100 的关联偏差值。从数学上讲，偏差会在采样之前添加到模型生成的 logits 中。确切的效果因模型而异，但 -1 和 1 之间的值应该会减少或增加选择的可能性；像 -100 或 100 这样的值应该导致相关令牌的禁止或独占选择。