利用Prediction Guard在LangChain中保护预测

tt_jishu

于 2025-07-01 11:14:52 发布

阅读量181

点赞数 4

CC 4.0 BY-SA版权

文章标签： langchain 人工智能算法

本文链接：https://blog.youkuaiyun.com/tt_jishu/article/details/149042582

在当今的AI开发生态系统中，Prediction Guard为开发者提供了一种有效的工具，它能够保护和控制大型语言模型(LLM)的输出。本文将介绍如何在LangChain中利用Prediction Guard，通过详细的代码示例展示安装、设置及应用场景。

技术背景介绍

Prediction Guard是一种能够帮助开发者控制和调整LLM输出的方法，确保模型生成的内容符合预期。无论是在安全性还是输出结构上，它都提供了高度定制的能力。LangChain是一个广泛使用的框架，可以轻松地集成Prediction Guard实现LLM的安全控制。

核心原理解析

Prediction Guard通过“包装器”的方式，将控制逻辑引入到LLM的生成过程。开发者可以设定输出的类型和结构，例如布尔值、整数、JSON等。这样可以保证模型的输出严格符合指定格式或类型，大幅提升应用的可靠性和安全性。

代码实现演示(重点)

安装与设置

首先安装Prediction Guard的Python SDK：

pip install predictionguard

获取Prediction Guard访问令牌并设置为环境变量：

import os
os.environ["PREDICTIONGUARD_TOKEN"] = "<your Prediction Guard access token>"

LLM包装器使用

Prediction Guard提供了一个LLM包装器，可以简单地进行模型调用：

from langchain_community.llms import PredictionGuard
from langchain_core.prompts import PromptTemplate
from langchain.chains import LLMChain

# 设置你的Prediction Guard API密钥
os.environ["PREDICTIONGUARD_TOKEN"] = "<your Prediction Guard access token>"

# 定义一个提示模板
template = """Respond to the following query based on the context.

Context: EVERY comment, DM + email suggestion has led us to this EXCITING announcement! 🎉 We have officially added TWO new candle subscription box options! 📦
Exclusive Candle Box - $80 
Monthly Candle Box - $45 (NEW!)
Scent of The Month Box - $28 (NEW!)
Head to stories to get ALL the deets on each box! 👆 BONUS: Save 50% on your first box with code 50OFF! 🎉

Query: {query}

Result: """
prompt = PromptTemplate.from_template(template)

# 使用Prediction Guard控制LLM的输出
pgllm = PredictionGuard(model="MPT-7B-Instruct", 
                        output={
                                "type": "categorical",
                                "categories": [
                                    "product announcement", 
                                    "apology", 
                                    "relational"
                                    ]
                                })

# 执行预测
result = pgllm(prompt.format(query="What kind of post is this?"))
print(result)

基础的LLM链使用

Prediction Guard也可以用于创建LLM链，帮助自动化处理复杂的多步骤推理：

pgllm = PredictionGuard(model="OpenAI-gpt-3.5-turbo-instruct")

template = """Question: {question}

Answer: Let's think step by step."""
prompt = PromptTemplate.from_template(template)
llm_chain = LLMChain(prompt=prompt, llm=pgllm, verbose=True)

# 执行预测并输出结果
question = "What NFL team won the Super Bowl in the year Justin Beiber was born?"
result = llm_chain.predict(question=question)
print(result)