OpenAI接口学习之finish_reason

finish_reason

在 OpenAI API 的响应中，每个 completion choice 都包含一个

常见值包括：

1. stop
   模型自然完成了生成（遇到了停止词）这是最理想的结束方式
2. length
   达到了最大 token 数限制（max_tokens）可能意味着输出被截断
3. content_filter
   内容被内容过滤器阻止通常涉及敏感或不适当内容

max_tokens 限制输出长度

而max_tokens 参数说明如下

• 位置：请求参数（request parameter）
• 作用：限制模型生成的最大 token 数量

一个样例

import openai

client = openai.OpenAI()

response = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[
        {"role": "system", "content": "你是一个 helpful assistant"},
        {"role": "user", "content": "写一篇关于AI的文章"}
    ],
    # max_tokens 是请求参数
    max_tokens=500,  # 限制最多生成 500 个 tokens
    temperature=0.7
)

max_tokens 有最大值限制，这个限制取决于使用的具体模型。例如gpt-4o的max_token是16,384[2]

在使用lang-chain这样的框架时，与模型交互，如果遇到模型返回finish_reason=length,可以尝试调整max_tokens解决问题。

langChain的ChatOpenAI出现设置max_tokens出现openAi提示异常后，可以尝试使用 BaseChatOpenAI[3]

参考

[1]openai-reference, https://platform.openai.com/docs/api-reference/batch/request-output
[2]gpt-4o,https://platform.openai.com/docs/models/gpt-4o
[3]https://github.com/langchain-ai/langchain/issues/29954