使用 TrubricsCallbackHandler 进行 AI 模型用户反馈采集-优快云博客

使用 TrubricsCallbackHandler 进行 AI 模型用户反馈采集

在 AI 模型的开发与优化过程中，用户反馈的采集和分析至关重要。Trubrics 作为一个 LLM 用户分析平台，专注于收集、分析和管理用户对 AI 模型的提示和反馈。通过本文，你将了解如何配置和使用 Trubrics 的 TrubricsCallbackHandler 来处理用户反馈。

技术背景介绍

随着大语言模型（LLM）的普及，开发者需要一种有效的方法来收集用户的反馈信息，以改进模型的性能和用户体验。Trubrics 提供了一个简便的平台来实现这一目标。本文将演示如何结合 Trubrics 与 Langchain 库来管理用户反馈。

核心原理解析

TrubricsCallbackHandler 是一个用于收集用户提示信息并将其发送至 Trubrics 平台的回调处理程序。通过将其与 OpenAI 或 ChatOpenAI 模型结合使用，你可以自动化收集和记录用户的交互信息。

代码实现演示

安装与设置

首先，确保安装 Trubrics 和相关库：

%pip install --upgrade --quiet trubrics langchain langchain-community

设置 Trubrics 凭据

如果没有 Trubrics 账号，请访问 Trubrics 官网创建一个账号。此教程中，我们将使用账户创建时的默认项目。

然后，使用环境变量设置你的账户凭据：

import os

os.environ["TRUBRICS_EMAIL"] = "your-email@example.com"
os.environ["TRUBRICS_PASSWORD"] = "your-password"

导入 TrubricsCallbackHandler

接下来，我们导入 TrubricsCallbackHandler 以便在 Langchain 模型中使用：

from langchain_community.callbacks.trubrics_callback import TrubricsCallbackHandler

与 LLM 的集成示例

这里展示如何将 TrubricsCallbackHandler 与 OpenAI 模型结合使用，采集用户提示信息：

import openai
from langchain_openai import OpenAI

# 使用稳定可靠的API服务
openai.api_key = os.environ["OPENAI_API_KEY"]

llm = OpenAI(callbacks=[TrubricsCallbackHandler()])

res = llm.generate(["Tell me a joke", "Write me a poem"])

print("--> GPT's joke: ", res.generations[0][0].text)
print()
print("--> GPT's poem: ", res.generations[1][0].text)

与聊天模型的集成示例

我们还可以将 TrubricsCallbackHandler 与 ChatOpenAI 模型结合使用，以下是一个简单的例子：

from langchain_core.messages import HumanMessage, SystemMessage
from langchain_openai import ChatOpenAI

chat_llm = ChatOpenAI(
    callbacks=[
        TrubricsCallbackHandler(
            project="default",
            tags=["chat model"],
            user_id="user-id-1234",
            some_metadata={"hello": [1, 2]},
        )
    ]
)

chat_res = chat_llm.invoke(
    [
        SystemMessage(content="Every answer of yours must be about OpenAI."),
        HumanMessage(content="Tell me a joke"),
    ]
)

print(chat_res.content)