如何在LangChain中使用Prediction Guard进行受控文本生成-优快云博客

本文链接：https://blog.youkuaiyun.com/bBADAS/article/details/145905162

在AI模型的实际应用中，如何确保输出符合预期是一项重要的挑战。Prediction Guard提供了一种灵活的方法来对模型输出进行控制和管理，这在LangChain中有直接的支持。本篇文章将详细介绍如何安装和配置Prediction Guard，以及如何使用它在LangChain中进行受控文本生成。

安装与设置

首先需要安装Prediction Guard的Python SDK：

pip install predictionguard

接下来，获取一个Prediction Guard访问令牌（获取说明详见这里），并将其设置为环境变量：

export PREDICTIONGUARD_TOKEN='your-access-token'

LLM（大语言模型）包装器

在LangChain中，可以使用Prediction Guard LLM包装器通过以下方式实现：

from langchain_community.llms import PredictionGuard

# 初始化Prediction Guard模型
pgllm = PredictionGuard(model="MPT-7B-Instruct")

你还可以直接在初始化时提供访问令牌和控制输出的参数：

pgllm = PredictionGuard(model="MPT-7B-Instruct", token="your-access-token", output={"type": "boolean"})

代码实现演示

下面是一个使用Prediction Guard的基本示例，展示如何控制LLM的输出：

import os
from langchain_community.llms import PredictionGuard
from langchain_core.prompts import PromptTemplate
from langchain.chains import LLMChain

# 设置Prediction Guard的API密钥
os.environ["PREDICTIONGUARD_TOKEN"] = "your-access-token"

# 定义一个提示模板
template = """Respond to the following query based on the context.

Context: EVERY comment, DM + email suggestion has led us to this EXCITING announcement! 🎉 We have officially added TWO new candle subscription box options! 📦
Exclusive Candle Box - $80 
Monthly Candle Box - $45 (NEW!)
Scent of The Month Box - $28 (NEW!)
Head to stories to get ALL the deets on each box! 👆 BONUS: Save 50% on your first box with code 50OFF! 🎉

Query: {query}

Result: """
prompt = PromptTemplate.from_template(template)

# 使用Prediction Guard来控制LLM的输出
pgllm = PredictionGuard(
    model="MPT-7B-Instruct", 
    output={
        "type": "categorical",
        "categories": ["product announcement", "apology", "relational"]
    }
)

# 格式化并预测
result = pgllm(prompt.format(query="What kind of post is this?"))
print(result)