如何使用 PromptLayer CallbackHandler 集成 LangChain-优快云博客

如何使用 PromptLayer CallbackHandler 集成 LangChain

随着生成式 AI 技术的迅速发展，如何有效地进行提示工程（Prompt Engineering）成为了一个热门话题。PromptLayer 提供了一个强大的平台来帮助开发者进行提示工程，并提供了LLM观察功能以可视化请求、版本提示以及跟踪使用情况。在这篇文章中，我们将深入探讨如何设置 PromptLayerCallbackHandler，以便于集成到 LangChain。

技术背景介绍

PromptLayer 是一个专门用于提示工程的平台，它不仅可以帮助用户简化提示设计，还可以通过可视化工具追踪和优化提示的使用效果。它与 LangChain 的直接集成，尤其是通过使用回调机制（Callback）提供灵活的功能支持，为开发者提供了更强大的工具。

核心原理解析

PromptLayerCallbackHandler 是 PromptLayer 的一个回调处理程序，可以用来追踪和记录 LLM 调用中发生的详细信息。通过设置不同的回调参数，开发者可以存储和分析请求ID及相关数据，以优化和跟踪提示的表现。

代码实现演示

以下示例将展示如何在各种场景下使用 PromptLayerCallbackHandler。

安装和设置

首先，你需要安装所需的库：

%pip install --upgrade --quiet langchain-community promptlayer --upgrade

获取 API 凭证

如果你还没有 PromptLayer 账户，首先需要在 promptlayer.com 上创建一个账号，然后通过导航栏的设置图标获取 API Key，并将其设置为环境变量 PROMPTLAYER_API_KEY。

使用 PromptLayerCallbackHandler

下面的代码展示了如何设置一个简单的 OpenAI 的使用示例：

import promptlayer  # Don't forget this 🍰
from langchain_community.callbacks.promptlayer_callback import (
    PromptLayerCallbackHandler,
)

from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI

chat_llm = ChatOpenAI(
    temperature=0,
    callbacks=[PromptLayerCallbackHandler(pl_tags=["chatopenai"])],
)
llm_results = chat_llm.invoke(
    [
        HumanMessage(content="What comes after 1,2,3 ?"),
        HumanMessage(content="Tell me another joke?"),
    ]
)
print(llm_results)

GPT4All 示例

该代码示例展示了如何使用 PromptLayerCallbackHandler 与 GPT4All 集成：

from langchain_community.llms import GPT4All

model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)
callbacks = [PromptLayerCallbackHandler(pl_tags=["langchain", "gpt4all"])]

response = model.invoke(
    "Once upon a time, ",
    config={"callbacks": callbacks},
)

更全面的示例

通过以下代码，我们可以进一步利用 PromptLayer 的功能：

from langchain_openai import OpenAI


def pl_id_callback(promptlayer_request_id):
    print("prompt layer id ", promptlayer_request_id)
    promptlayer.track.score(
        request_id=promptlayer_request_id, score=100
    )  # score is an integer 0-100
    promptlayer.track.metadata(
        request_id=promptlayer_request_id, metadata={"foo": "bar"}
    )  # metadata is a dictionary of key value pairs that is tracked on PromptLayer
    promptlayer.track.prompt(
        request_id=promptlayer_request_id,
        prompt_name="example",
        prompt_input_variables={"product": "toasters"},
        version=1,
    )  # link the request to a prompt template


openai_llm = OpenAI(
    model_name="gpt-3.5-turbo-instruct",
    callbacks=[PromptLayerCallbackHandler(pl_id_callback=pl_id_callback)],
)

example_prompt = promptlayer.prompts.get("example", version=1, langchain=True)
openai_llm.invoke(example_prompt.format(product="toasters"))