使用Guardrails AI生成结构化数据的技术指南-优快云博客

使用Guardrails AI生成结构化数据的技术指南

【免费下载链接】guardrails Adding guardrails to large language models. 项目地址: https://gitcode.com/gh_mirrors/gu/guardrails

痛点：大语言模型输出格式的不确定性

你是否曾经遇到过这样的问题：使用大语言模型（LLM）生成数据时，输出的格式五花八门，需要花费大量时间进行后处理和验证？或者需要生成符合特定业务逻辑的结构化数据，但LLM总是返回不一致的JSON格式？

Guardrails AI正是为了解决这些问题而生。它是一个强大的Python框架，专门用于为大语言模型应用添加防护栏，确保生成的输出符合预期的结构和质量要求。

什么是Guardrails AI？

Guardrails AI是一个开源框架，主要提供两大核心功能：

输入/输出防护：检测、量化和减轻特定类型的风险
结构化数据生成：帮助LLM生成符合预定格式的结构化数据

通过本指南，你将学会如何使用Guardrails AI高效生成结构化数据，确保数据质量和一致性。

环境准备与安装

首先安装Guardrails AI：

pip install guardrails-ai

然后配置Guardrails Hub：

guardrails configure

核心概念：Pydantic模型与Guard

Guardrails AI使用Pydantic模型来定义期望的输出结构。Pydantic是一个数据验证库，可以定义数据模型并自动验证输入数据。

基础示例：生成宠物信息

让我们从一个简单的例子开始，生成宠物类型和名称的结构化数据：

from pydantic import BaseModel, Field
from guardrails import Guard
import openai

# 定义Pydantic模型
class Pet(BaseModel):
    pet_type: str = Field(description="宠物种类")
    name: str = Field(description="独特的宠物名字")

# 创建提示词
prompt = """
我应该养什么宠物，给它取什么名字？

${gr.complete_json_suffix_v2}
"""

# 创建Guard对象
guard = Guard.for_pydantic(output_class=Pet, prompt=prompt)

# 调用LLM生成结构化数据
raw_output, validated_output, *rest = guard(
    llm_api=openai.completions.create,
    engine="gpt-3.5-turbo-instruct"
)

print(validated_output)

输出结果：

{
    "pet_type": "dog",
    "name": "Buddy"
}

实战案例：生成用户订单数据集

让我们看一个更复杂的例子，生成包含验证规则的合成数据集。

步骤1：定义数据模型

from pydantic import BaseModel, Field
from guardrails.hub import ValidLength, TwoWords, ValidRange
from typing import List

class Order(BaseModel):
    user_id: str = Field(description="用户ID")
    user_name: str = Field(
        description="用户的名和姓",
        validators=[TwoWords(on_fail="noop")]  # 确保名字包含两个词
    )
    num_orders: int = Field(
        description="用户下单数量",
        validators=[ValidRange(0, 50, on_fail="noop")]  # 限制订单数量在0-50之间
    )

class Orders(BaseModel):
    user_orders: List[Order] = Field(
        description="生成用户及其历史订单数量的列表",
        validators=[ValidLength(10, 10, on_fail="noop")]  # 确保生成10条记录
    )

步骤2：创建提示词和Guard

import guardrails as gd

prompt = """
生成一个模拟用户订单数据集。数据集的每一行都应该是有效的。

${gr.complete_xml_suffix}
"""

guard = gd.Guard.for_pydantic(output_class=Orders)

步骤3：调用LLM生成数据

result = guard(
    model="gpt-4o",
    messages=[{"role":"user", "content": prompt}],
    max_tokens=2048,
    temperature=0
)

print(result.validated_output)

验证器（Validators）详解

Guardrails AI提供了丰富的验证器来确保数据质量：

常用验证器类型

验证器类型	功能描述	示例
`ValidLength`	验证字符串或列表长度	`ValidLength(5, 10)`
`ValidRange`	验证数值范围	`ValidRange(0, 100)`
`TwoWords`	验证包含两个单词	`TwoWords()`
`RegexMatch`	正则表达式匹配	`RegexMatch(r'^[A-Z][a-z]+\s[A-Z][a-z]+$')`
`CompetitorCheck`	检查竞争对手名称	`CompetitorCheck(["Apple", "Microsoft"])`

验证器配置选项

每个验证器都支持on_fail参数，定义验证失败时的行为：

validators=[
    ValidRange(0, 50, on_fail="exception"),  # 抛出异常
    TwoWords(on_fail="fix"),                 # 尝试修复
    RegexMatch(r'pattern', on_fail="filter") # 过滤无效数据
]

高级功能：多种输出格式策略

Guardrails AI支持多种结构化输出生成策略：

1. 函数调用（Function Calling）

适用于支持OpenAI函数调用的模型：

tools = []  # OpenAI兼容的工具列表

response = guard(
    model="gpt-4o",
    messages=messages,
    tools=guard.json_function_calling_tool(tools),
    tool_choice="required",
)

2. 提示工程（Prompt Engineering）

适用于大多数模型：

prompt += "${gr.complete_json_suffix_v3}"

response = guard(
    model="gpt-4o",
    messages=[{"role": "user", "content": prompt}]
)

3. 约束解码（Constrained Decoding）

适用于Hugging Face模型：

from transformers import pipeline

guard = Guard.for_pydantic(Orders, output_formatter="jsonformer")
pipe = pipeline("text-generation", "TinyLlama/TinyLlama-1.1B-Chat-v1.0")

result = guard(pipe, messages=[{"role":"user","content":prompt}])

4. JSON模式（JSON Mode）

适用于支持JSON模式的模型：

response = guard(
    model="gpt-4o",
    messages=messages,
    response_format={ "type": "json_object" }
)

数据处理流程

mermaid

最佳实践与技巧

1. 模型选择策略

根据需求选择合适的模型和输出策略：

# 高质量输出：使用GPT-4系列
guard(model="gpt-4o", ...)

# 成本优化：使用GPT-3.5系列  
guard(model="gpt-3.5-turbo", ...)

# 开源模型：使用约束解码
guard(output_formatter="jsonformer", ...)

2. 错误处理与重试

from guardrails import OnFailAction

try:
    result = guard(
        model="gpt-4o",
        messages=messages,
        num_reasks=3  # 最多重试3次
    )
except Exception as e:
    print(f"生成失败: {e}")
    # 可以在这里添加降级策略

3. 性能优化

# 批量处理
batch_results = []
for prompt in prompts:
    result = guard(
        model="gpt-4o",
        messages=[{"role":"user", "content": prompt}],
        temperature=0.1  # 降低随机性以提高一致性
    )
    batch_results.append(result.validated_output)

常见问题解决

Q: 生成的JSON格式不正确怎么办？

A: 检查Pydantic模型定义，确保字段类型和验证器配置正确。

Q: 验证器频繁失败如何解决？

A: 调整on_fail策略或使用更宽松的验证规则。

Q: 如何处理大规模数据生成？

A: 使用异步处理或批量调用，并合理设置速率限制。

总结

Guardrails AI为LLM结构化数据生成提供了完整的解决方案：

定义清晰的数据模型：使用Pydantic定义期望的数据结构
配置丰富的验证规则：通过验证器确保数据质量
支持多种输出策略：适应不同的模型和能力
提供完善的错误处理：包括重试和降级机制

通过本指南，你应该已经掌握了使用Guardrails AI生成高质量结构化数据的核心技能。开始尝试在你的项目中应用这些技术，享受LLM带来的结构化数据生成能力吧！

提示：在实际项目中，建议先从简单的数据模型开始，逐步增加复杂度和验证规则，以确保生成数据的质量和稳定性。

【免费下载链接】guardrails Adding guardrails to large language models. 项目地址: https://gitcode.com/gh_mirrors/gu/guardrails

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考