structured-logprobs：增强OpenAI模型数据可靠性的Python库

structured-logprobs：增强OpenAI模型数据可靠性的Python库

structured-logprobs OpenAI's Structured Outputs with Logprobs 项目地址: https://gitcode.com/gh_mirrors/st/structured-logprobs

项目介绍

在自然语言处理领域，OpenAI的模型以其强大的生成能力而闻名。然而，生成的数据可靠性一直是开发者关注的焦点。structured-logprobs 是一个开源Python库，旨在通过为OpenAI聊天完成响应增加详细的token日志概率信息，从而提升从模型提取的 structured outputs 数据的可靠性。该库与OpenAI的Structured Outputs功能无缝集成，确保模型生成的响应严格遵循提供的JSON Schema，避免遗漏必要的键或生成无效的枚举值。

项目技术分析

structured-logprobs 的工作原理是利用OpenAI提供的Structured Outputs特性。Structured Outputs允许用户定义一个JSON Schema，模型生成的响应必须符合该Schema的结构。通过分析token级别的日志概率，structured-logprobs能够提供每个生成值可能性的洞察，从而帮助开发者评估LLM（大型语言模型）生成的结构化数据的可靠性。

该库的核心功能包括：

• map_characters_to_token_indices：将字符映射到token索引的函数。
• add_logprobs：将日志概率作为响应中的一个独立字段添加。
• add_logprobs_inline：将日志概率内联嵌入到消息内容中。

项目及技术应用场景

structured-logprobs 的设计理念非常适合需要高度结构化数据输出的场景，例如：

• 在线问答系统：确保生成答案的结构符合预期格式，并提供每个答案的可能性的量化指标。
• 机器学习模型训练：通过日志概率分析，帮助训练者更好地理解模型的行为和预测的可靠性。
• 数据抓取与解析：在处理开放域数据时，确保提取的数据结构正确，并评估其可靠性。

项目特点

structured-logprobs 项目的特点如下：

1. 增强数据可靠性：通过token级别的日志概率分析，提供生成数据的可靠性评估。
2. 易于集成：与OpenAI的Structured Outputs无缝集成，简化开发流程。
3. 灵活性：提供了多种方式来集成日志概率信息，既可作为独立字段，也可内联嵌入。
4. 强大的工具集：提供了丰富的工具函数，如字符到token索引的映射，为开发者提供了更多的灵活性和便利。

以下是一个使用structured-logprobs的示例：

from openai import OpenAI
from structured_logprobs import add_logprobs, add_logprobs_inline

# 初始化OpenAI客户端
client = OpenAI(api_key="your-api-key")

# 加载JSON Schema
schema_content = {
    "type": "object",
    "properties": {
        "capital_of_France": { "type": "string" },
        "the_two_nicest_colors": {
            "type": "array",
            "items": {"type": "string", "enum": ["red", "blue", "green", "yellow", "purple"]}
        },
        "die_shows": { "type": "number" }
    },
    "required": ["capital_of_France", "the_two_nicest_colors", "die_shows"],
    "additionalProperties": false
}

# 创建聊天完成请求
completion = client.chat.completions.create(
    model="gpt-4o-2024-08-06",
    messages=[
        {"role": "system", "content": "...")
    ],
    logprobs=True,
    response_format=schema_content
)

# 添加日志概率
chat_completion = add_logprobs(completion)
chat_completion_inline = add_logprobs_inline(completion)

# 输出日志概率
print(chat_completion.log_probs[0])
print(chat_completion_inline.choices[0].message.content)

通过上述代码，开发者可以轻松地将日志概率信息集成到OpenAI模型生成的结构化数据中，从而更好地理解模型的输出。

总结而言，structured-logprobs 是一个强大的工具，它不仅提高了OpenAI模型生成数据的可靠性，还为开发者提供了一种直观的方式来分析和评估这些数据。无论是对于研究还是实际应用，structured-logprobs 都是一个值得推荐的开源项目。

structured-logprobs OpenAI's Structured Outputs with Logprobs 项目地址: https://gitcode.com/gh_mirrors/st/structured-logprobs